使用Sqoop从Hive导出数据到Teradata时出现HCatSplit类找不到异常

日志中最内层的报错为java.lang.ClassNotFoundException: org.apache.hive.hcatalog.mapreduce.HCatSplit，本质是YARN启动Map任务时，运行环境类路径缺失HCatalog核心依赖包。
你通过Sqoop的--hcatalog-database、--hcatalog-table参数对接Hive表时，Teradata Connector的输入组件（日志中对应ConnectorCombineFileHCatSplit）在做Split序列化反序列化初始化时，需要加载HCatSplit这个类完成分片信息解析，当前运行环境没有对应的依赖jar，类加载直接失败，Map任务还没进入业务计算逻辑就中断。

除了类缺失的核心报错，你提交的操作脚本本身存在多处格式错误，会连带导致执行失败：

• Hive建表语句中，最后一个字段addr varchar(50)后多了尾随逗号，Hive解析时会直接抛出语法错误。
• Sqoop命令书写时，换行位置没有加续行符\，命令被Shell拆为多个不完整片段：
  • 凭证配置参数-Dhadoop.security.credential.provider.path=pwd_file_for_connection被截断，末尾多了无效的连接符-
  • -m 10、--hcatalog-database等参数被拆到独立行，实际执行时Shell无法识别完整参数逻辑

1. 修正脚本基础语法
   • 删除建表语句中addr字段后的多余逗号
   • 所有需要换行拆分的Sqoop命令行，在末尾补充\作为Shell续行符，保证参数传递完整
2. 补全缺失的HCatalog依赖，两种方案任选其一：
   • 方案1：在Sqoop命令中通过-libjars参数，指定集群实际路径下的hive-hcatalog-core-<集群Hive对应版本>.jar、hive-metastore-<集群Hive对应版本>.jar的全路径，参考命令结构：

     sqoop export \
     -libjars /opt/集群路径/hive-hcatalog-core-3.1.0.jar,/opt/集群路径/hive-metastore-3.1.0.jar \
     -Dhadoop.security.credential.provider.path=pwd_file_for_connection \
     -Dmapreduce.map.java.opts="-Duser.timezone=GMT" \
     --connect jdbc:teradata://jdbc_url/database=Tera_db,charset=utf8 \
     -m 10 \
     --username uname \
     --password-alias pwd \
     --table Teradata_table \
     --hcatalog-database db_name \
     --hcatalog-table sample_load
     

   • 方案2：在Sqoop命令中追加参数-Dmapreduce.user.classpath.first=true，强制YARN容器优先加载用户提交任务时携带的类路径，避免类加载隔离机制导致的依赖找不到问题
3. 版本兼容性校验
   确认当前部署的Teradata Sqoop Connector版本，与集群的Hive/HCatalog版本匹配，避免老版本Connector无法兼容新版Hive中调整的类包路径。

• 确认Hive外部表Sample_load的底层存储路径，对YARN节点的运行服务账号有读取权限，避免类加载问题解决后出现文件访问权限报错。
• 核对Teradata侧Teradata_table的字段顺序、字段类型，与Hive侧Sample_load的字段完全匹配，避免导出阶段出现数据类型转换错误。

内容的提问来源于stack exchange，提问作者Devi