Sqoop增量导入AS400表报错：参数无法识别

看了你的错误日志和Sqoop命令，问题出在几个参数的格式和逻辑错误上，我来帮你逐一修正：

核心错误点分析 #

1. 参数格式错误：--incremental-append是错误写法，Sqoop的--incremental参数后面需要跟模式类型（append或lastmodified），正确格式是--incremental append，连写会被当成未知参数。
2. 时间格式不匹配：你的to_porcess_ts字段格式是yyyymmddhhmmss，但Hive查询里用了unix_timestamp(to_porcess_ts, 'ddmmyyyyhhmmss')，格式串和实际字段不匹配，导致返回无效的负时间戳（-46039745595），干扰了Sqoop的参数解析。
3. 命令换行空格问题：原命令中部分反斜杠后带有多余空格，导致参数被意外拆分，Sqoop无法识别后续的--check-column等参数。

修正后的完整命令 #

sqoop import --verbose \
--driver $SRC_DRIVER_CLASS \
--connect $SRC_URL \
--username $SRC_LOGIN \
--password $SRC_PASSWORD \
--table $SRC_TABLE \
--hive-import \
--hive-table $SRC_TABLE_HIVE \
--target-dir $DST_HDFS \
--hive-partition-key "to_porcess_ts" \
--hive-partition-value $current_date \
--split-by $DST_SPLIT_COLUMN \
--num-mappers 1 \
--boundary-query "$DST_QUERY_BOUNDARY" \
--incremental append \
--check-column "to_porcess_ts" \
--last-value $(hive -e "select max(unix_timestamp(to_porcess_ts, 'yyyymmddhhmmss')) from $SRC_TABLE_HIVE" | tr -d '\n') \
--compress \
--compression-codec org.apache.hadoop.io.compress.SnappyCodec

关键修改说明 #

• 将--incremental-append改为--incremental append，符合Sqoop参数规范；
• 修正Hive查询中的时间格式串为'yyyymmddhhmmss'，和字段实际格式匹配，确保返回正确时间戳；
• 在Hive查询后添加| tr -d '\n'，清理输出中的换行符，避免Sqoop解析--last-value参数时出现异常；
• 调整命令换行的反斜杠位置，确保每个反斜杠后直接换行、无多余空格，保证参数连续解析。

额外优化建议 #

如果to_porcess_ts是字符串类型，也可以直接用字符串作为--last-value的值（取最大的字符串时间），这样不需要转换为unix时间戳，避免格式转换错误：

--last-value $(hive -e "select max(to_porcess_ts) from $SRC_TABLE_HIVE" | tr -d '\n')

这种方式更直接，也能避免时间戳转换带来的潜在问题。

内容的提问来源于stack exchange，提问作者Zied Hermi