Hive外部表加载CSV数据出现空行问题求助

问题根源&修复步骤 #

1. 换行符格式不匹配（最常见场景） #

Windows导出的CSV默认使用CRLF(\r\n)作为换行符，而Hive在Linux环境下默认只识别Linux标准的LF(\n)，多余的\r会被解析成独立的空行内容。

• 处理CSV文件：在Linux服务器上执行命令清理多余的\r：

  sed -i 's/\r$//' /path/to/your/csv/file.csv
  

• 处理完成后重新将数据加载到Hive表。

2. 表结构未配置正确的行分隔符 #

如果不想修改原始CSV文件，可以直接在表定义中指定适配Windows换行符的配置：

-- 重新建表或修改现有表结构
CREATE TABLE your_table_name (
  -- 替换成你的实际字段定义，示例：
  id INT,
  user_name STRING,
  age INT
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES (
  'line.delim' = '\r\n', -- 指定适配Windows的换行符
  'field.delim' = ','    -- 你的CSV字段分隔符，根据实际情况调整
)
STORED AS TEXTFILE;

3. 清空旧数据后重新加载 #

如果之前已经加载过存在问题的数据，需要先清空表内数据，再导入处理好的CSV：

TRUNCATE TABLE your_table_name;
LOAD DATA LOCAL INPATH '/path/to/processed/file.csv' INTO TABLE your_table_name;

验证 #

执行查询确认空行是否消除：

SELECT * FROM your_table_name;

内容的提问来源于stack exchange，提问作者Akhilesh