Presto Hive Connector读取.zst文件编码解码错误问题咨询

执行查询语句select * from mydb.testtb where day=20221113 limit 5时，Hive与Spark-SQL均可正常返回结果，但Presto（使用Hive Connector）返回结果存在编码/解码错误。现咨询需如何配置Hive Connector，或是Presto不支持读取ZSTD压缩文件？

相关信息 #

• Hive表定义：

  CREATE TABLE mydb.testtb ( 
    mid varchar COMMENT 'mid', 
    day varchar 
  ) WITH ( 
    external_location = 'hdfs://userx/mydb/testtb/', 
    format = 'TEXTFILE', 
    partitioned_by = ARRAY['day'] 
  )
  

• HDFS中对应文件采用ZSTD压缩，示例路径：.../testtb/day=20221113/part-00020-63c1xxxxx000.zst
• Presto返回结果存在异常（见附图）

解决方法 #

Presto本身支持ZSTD压缩文件的读取，出现异常大概率是配置问题，按以下步骤排查：

1. 确认Presto版本
   Presto从0.217版本开始正式支持ZSTD压缩的文本文件，如果你用的版本低于这个，建议先升级版本。

2. 更新Hive Connector压缩配置
   找到Presto的Hive Connector配置文件（通常路径是etc/catalog/hive.properties），添加或修改压缩编码列表，确保包含zstd：

   hive.compression-codecs=zstd, snappy, gzip, deflate, bzip2, lz4
   

   修改后重启Presto集群生效。

3. 开启文件格式自动检测
   检查配置文件中是否开启了文件格式自动检测，确保以下配置为true：

   hive.file-format-detection=true
   

   这个配置默认是开启的，如果被手动关闭，会导致Presto无法自动识别ZSTD压缩格式。

4. 给表显式指定压缩格式
   可以通过修改Hive表的属性，显式指定压缩格式，帮助Presto正确识别：

   ALTER TABLE mydb.testtb SET TBLPROPERTIES ('compress.codec'='zstd');
   

   执行完这个语句后，重新执行查询测试。

5. 统一字符编码配置
   如果以上步骤都无效，可能是字符编码不匹配导致的解码错误。在Hive Connector配置文件中添加字符编码配置：

   hive.text-file-encoding=UTF-8
   

   确保和Hive表使用的字符编码一致。

内容的提问来源于stack exchange，提问作者AppleCEO