Sqoop导出Parquet到MySQL报错求助（版本1.4.6-cdh5.7.0）

我之前在CDH5.7环境里用Sqoop 1.4.6导出Parquet到MySQL时也踩过这个坑！问题根源是这个版本的Sqoop在处理列式文件时，默认会 fallback 到Avro的解析逻辑，只要你没明确指定Parquet的输入格式，它就会把Parquet文件当成Avro来读，自然就报错了。下面是两种亲测有效的解决方法：

方法一：明确指定Parquet输入格式类 #

在你的Sqoop Export命令中，强制指定Parquet对应的InputFormat类，让Sqoop用正确的解析器处理文件。同时记得匹配字段类型，避免类型转换错误。

示例命令：

sqoop export \
  --connect jdbc:mysql://your-mysql-host:3306/your_target_db \
  --username your_db_user \
  --password your_db_pass \
  --table your_target_table \
  --export-dir /hdfs/path/to/parquet_files \
  --input-format org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat \
  --input-null-string '\\N' \
  --input-null-non-string '\\N' \
  --map-column-java id=Integer,user_name=String,age=Integer

• --input-format：指定Parquet的MapReduce输入格式类，这是关键，直接告诉Sqoop该用什么解析器
• --map-column-java：手动映射Parquet字段到Java类型，确保和MySQL表的字段类型匹配，避免转换异常
• --input-null-*：处理空值的映射，避免导出时空值无法写入MySQL

方法二：补充Parquet依赖包（如果方法一无效） #

有时候Sqoop的默认classpath里没有包含Hive的Parquet相关依赖，导致即使指定了输入格式，也无法加载对应的类。这时候可以用--libjars参数手动指定依赖包路径（路径根据你的CDH安装目录调整）。

示例命令：

sqoop export \
  --connect jdbc:mysql://your-mysql-host:3306/your_target_db \
  --username your_db_user \
  --password your_db_pass \
  --table your_target_table \
  --export-dir /hdfs/path/to/parquet_files \
  --input-format org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat \
  --libjars /opt/cloudera/parcels/CDH/lib/hive/lib/parquet-hadoop-*.jar,/opt/cloudera/parcels/CDH/lib/hive/lib/hive-exec-*.jar \
  --map-column-java id=Integer,user_name=String,age=Integer

• --libjars：把Parquet和Hive执行相关的jar包添加到Sqoop的运行classpath中，确保能加载到Parquet解析所需的类

额外注意事项 #

• 确保HDFS上的Parquet文件结构和MySQL目标表的字段完全对应（字段名、顺序、类型），否则可能出现数据错位或转换错误
• 如果你的Parquet文件是由Hive生成的，最好用Hive表对应的字段映射来编写--map-column-java参数，避免类型不匹配

内容的提问来源于stack exchange，提问作者Vitaly Olegovitch