Sqoop导出HDFS文本至Oracle NUMBER字段时数据解析报错

这个报错的核心问题是Sqoop在解析TSV文件里的1.0字符串时，没能正确映射到Oracle的NUMBER字段类型。我来给你几个可行的解决方案：

1. 显式指定Sqoop的字段类型映射 #

Sqoop默认的类型映射可能对未指定精度的NUMBER字段处理不够准确，你可以在导出命令里强制指定该字段的Java和Oracle类型映射：

sqoop export \
  --connect jdbc:oracle:thin:@//your-oracle-host:1521/your-service-name \
  --username your-db-user \
  --password your-db-pass \
  --table target_oracle_table \
  --export-dir hdfs://your-hdfs-path/output_history_with_ta_text \
  --input-fields-terminated-by '\t' \
  --map-column-java training_accuracy=Double \
  --map-column-oracle training_accuracy=NUMBER

通过--map-column-java告诉Sqoop把这个字段按Double类型解析，再通过--map-column-oracle对应到Oracle的NUMBER类型，这样就能正确识别1.0这种带小数的数值了。

2. 确保PySpark写入时字段为数值类型 #

如果你的PySpark DataFrame里training_accuracy字段是字符串类型，写入TSV后会被保存为'1.0'字符串，这会增加Sqoop解析的负担。先检查并转换字段类型后再写入：

# 先检查DataFrame的schema，确认字段类型
df.printSchema()

# 如果是字符串类型，转换为Double类型
from pyspark.sql.types import DoubleType
df = df.withColumn("training_accuracy", df["training_accuracy"].cast(DoubleType()))

# 再写入HDFS，注意不要加header（除非Sqoop导出时指定--header参数）
df.write.csv('output_history_with_ta_text', sep='\t', header=False, mode="overwrite")

这样写入的TSV文件里，training_accuracy会以数值格式存储，Sqoop导出时就能直接识别为数值类型。

3. 排查具体错误数据行 #

报错提示你查看失败的Map Task日志，你可以通过YARN命令获取详细日志，定位到具体出问题的数据行：

# 替换成你的Sqoop任务对应的YARN应用ID
yarn logs -applicationId application_xxxxxx_xxxx | grep -A 15 -B 5 "Can't parse input data"

这能帮你确认是不是有其他异常格式的数据（比如非数值字符串）导致的解析失败。

4. 处理空值等特殊情况 #

如果你的数据里存在空值，可以在Sqoop导出命令里加上空值处理参数，避免解析报错：

sqoop export \
  ... # 其他参数
  --input-null-string '\\N' \
  --input-null-non-string '\\N'

优先尝试前两种方案，这是解决这类类型映射问题最直接的方法。

内容的提问来源于stack exchange，提问作者Liang Zulin