Hive导出数据到Hadoop边缘节点CSV时记录行数异常增多问题咨询

核心原因 #

• 字段内置换行符拆分行：这是最高发的原因。Hive string类型字段如果存储了带\n、\r、\r\n的文本内容，beeline导出时不会自动转义这些字符，会直接输出到结果文件，单条记录会被拆分为多行，最终总记录数上涨，你多出来的200余万条记录基本符合这个特征。
• beeline日志混入结果：即使你加了--silent=true参数，部分版本的beeline仍会将Hive运行时的警告、错误日志输出到标准输出流，这些日志行也会被计入总记录数。
• 编码兼容问题：源表存在非UTF-8编码的特殊字符时，导出到本地文件后系统换行识别逻辑异常，会出现误拆行的情况。
• 源表数据重复：小概率场景，比如分区表重复加载数据、查询未加分区过滤导致结果行数本身就多于预期，直接在Hive侧count即可排除。

排查思路 #

1. 先确认源表真实行数
   在Hive端执行select count(*) from db.table;，确认源表本身的记录数和你预期的是否一致，先排除源表数据本身的问题。

2. 排查字段换行符
   统计所有string字段中包含换行符的记录总数，执行SQL示例：

select count(*) from db.table 
where concat_ws('', col1, col2, col3, /* 替换为表所有字段 */) rlike '[\n\r]';

如果统计出来的数量和你多出来的2263728条接近，即可定位为字段内置换行符导致的行拆分问题。

3. 校验异常行内容
   从导出的sample.csv中随机抽取几条和源表结构不符的行，看内容是否为某条源记录的拆分片段，或是带有WARN、ERROR、HiveSession等关键字的日志内容，即可快速定位是换行问题还是日志混入问题。

4. 排除日志干扰测试
   修改导出命令，重定向错误输出到空，同时关闭警告显示，重新导出后统计行数：

beeline -u $HIVE_JDBC_URL --silent=true --outputformat=tsv2 --showHeader=false --showWarnings=false -e "use db; select * from table" 2>/dev/null > sample_new.csv

如果新文件行数恢复正常，即可确定是beeline日志混入导致的问题。

对应修复方案 #

• 字段换行符问题：导出时用regexp_replace将字段中的换行符替换为空或空格，示例SQL：

select 
  regexp_replace(col1, '[\n\r]', '') as col1,
  regexp_replace(col2, '[\n\r]', '') as col2,
  -- 替换所有string类型字段
  col4, col5 -- 非string字段不需要处理
from db.table;

• 日志混入问题：长期使用时建议固定在导出命令中加2>/dev/null和--showWarnings=false参数，避免日志污染结果文件。

内容的提问来源于stack exchange，提问作者SweetyP