从Hive向Pig加载数据时，Dump全量数据集报错问题咨询

我来帮你排查这个问题——这种情况我碰到过好几次，核心原因大概率是HCatalog和Pig在处理全表扫描时的资源配置或元数据同步问题，虽然表只有58行，但底层的Hadoop作业可能因为某些默认配置卡壳了。先理清楚你的场景：

问题重现 #

• 环境：Pig + HCatalog
• 目标表：retail_db.categories（共58行数据）
• 正常执行的操作：

  $ pig -useHCatalog
  grunt> pcategories = LOAD 'retail_db.categories' USING org.apache.hive.hcatalog.pig.HCatLoader();
  grunt> b = limit pcategories 100;
  grunt> dump b; # 成功返回所有58行数据
  

• 失败的操作：

  grunt> dump pcategories; # 触发报错，仅看到yarn参数弃用的警告日志
  

关键分析 #

你贴的yarn.resourcemanager.system-metrics-publisher.enabled弃用日志只是个警告，不是导致dump失败的直接原因，真正的错误信息应该在日志的后半段（比如IO异常、YARN资源不足、元数据错误等）。结合limit能成功的现象，常见原因有这几个：

1. 资源模式差异：limit操作因为数据量小，可能触发了Pig的本地运行模式；而全表dump会启动分布式MapReduce作业，默认的YARN资源配置（比如内存、容器数）不足以支撑作业运行。
2. HCatalog元数据与HDFS数据不一致：虽然表记录只有58行，但HCatalog元数据可能标记了不存在的分区或损坏的数据文件，全表扫描时会尝试读取这些无效资源导致报错。
3. HCatalog Loader的schema推断问题：某些版本的HCatalog Loader在自动推断表schema时，全表扫描会触发细微的格式兼容问题，而limit操作因为提前终止流程避开了这个bug。

解决步骤 #

1. 先获取完整错误日志

先找到日志里包含ERROR或Exception的行，这是定位问题的核心。你可以在Pig运行时查看控制台输出，或者去YARN的WebUI（默认端口8088）查看对应作业的日志详情。

2. 尝试用本地模式运行全表dump

如果limit是因为本地模式成功，那强制Pig用本地模式执行全表dump试试：

$ pig -useHCatalog -x local
grunt> pcategories = LOAD 'retail_db.categories' USING org.apache.hive.hcatalog.pig.HCatLoader();
grunt> dump pcategories;

如果成功，说明是分布式模式下的资源配置问题，可以在grunt里调整MapReduce资源参数：

grunt> SET mapreduce.map.memory.mb 1024; # 增加map任务内存
grunt> SET mapreduce.reduce.memory.mb 2048; # 增加reduce任务内存
grunt> dump pcategories;

3. 验证HCatalog元数据与HDFS数据一致性

用Hive命令查看表的存储路径和元数据：

$ hive
hive> DESCRIBE FORMATTED retail_db.categories;

找到输出里的Location字段（比如hdfs://xxx/warehouse/retail_db/categories），然后去HDFS查看该路径下的文件：

$ hdfs dfs -ls <表的HDFS路径>
$ hdfs dfs -cat <表的HDFS路径>/* | wc -l # 统计文件总行数

如果总行数和表的58行不一致，或者存在空文件/损坏文件，先清理无效文件，再同步元数据：

hive> MSCK REPAIR TABLE retail_db.categories;

4. 手动指定表schema加载

如果是schema推断的问题，手动指定表的字段类型来加载，避免自动推断的bug：

grunt> pcategories = LOAD 'retail_db.categories' USING org.apache.hive.hcatalog.pig.HCatLoader() 
         AS (category_id:int, category_name:chararray, category_department_id:int);
grunt> dump pcategories;

（注：这里的schema是retail_db标准categories表的字段，你可以根据自己的表结构调整）

先从查看完整错误日志入手，按上面的步骤一步步排查，应该能快速定位并解决问题。

内容的提问来源于stack exchange，提问作者Jay Shankar Gupta