如何在Hadoop 3.x.y环境的Hive 3中正确读取csv.zstd文件？

核心问题分析 #

你的问题根源有两个：

• 压缩格式未适配：文件是zstd压缩格式，但Hive表用默认textfile存储时，不会自动识别zstd压缩包，直接把二进制压缩内容当成纯文本解析，导致乱码且被拆成多行。
• 字段分隔符不匹配：表定义用|作为字段分隔符，但数据行实际用,分隔（示例里的1,2），这就导致解析时除了第一列（乱码的二进制内容），其他列都无法识别到有效值，显示为null。

具体修复步骤 #

1. 配置zstd压缩支持 #

Hive需要明确指定zstd的压缩解码器，有两种处理方式：

方式一：给现有textfile表添加压缩属性

执行以下ALTER语句修改表配置：

ALTER TABLE test_zstd 
SET TBLPROPERTIES (
  'hive.exec.compress.output'='true',
  'mapreduce.output.fileoutputformat.compress'='true',
  'mapreduce.output.fileoutputformat.compress.codec'='org.apache.hadoop.io.compress.ZStandardCodec',
  'mapreduce.input.fileinputformat.split.maxsize'='134217728' -- 限制split大小，避免压缩文件被错误拆分
);

方式二：改用ORC/Parquet存储（更推荐）

ORC和Parquet格式原生支持压缩，处理zstd更稳定，重建表语句如下（注意修正分隔符）：

CREATE EXTERNAL TABLE test_zstd_fixed (
  col1 bigint,
  col2 bigint
) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' -- 匹配数据行的`,`分隔符
STORED AS ORC
LOCATION 'hdfs://test/test_zstd'
TBLPROPERTIES (
  'skip.header.line.count'='1',
  'orc.compress'='ZSTD'
);

2. 统一字段分隔符 #

根据你的文件示例，表头用|但数据用,，必须统一分隔规则：

• 如果是表头书写错误，实际所有行都用|分隔，保持表定义的fields terminated by '|'即可
• 如果数据确实用,分隔，就把表的分隔符配置改成,（如上面ORC示例中的设置）

3. 验证修复效果 #

先刷新表元数据，再执行查询验证：

MSCK REPAIR TABLE test_zstd; -- 若使用新表则替换为test_zstd_fixed
SELECT * FROM test_zstd;

内容的提问来源于stack exchange，提问作者CompEng