嘿，我来帮你梳理下Parquet在主流SQL引擎（比如Hive、Spark SQL）里可用的TBLPROPERTIES配置选项，同时结合你从ORC转Parquet、用ZLIB压缩和配置索引的需求给点实用参考：

压缩相关配置 #

这些选项直接影响Parquet文件的压缩率和读写性能：

• parquet.compression：指定文件压缩算法，可选值包括ZLIB（你计划用的，压缩比均衡，适合大多数场景）、SNAPPY（读写速度快，压缩比略低）、GZip（高压缩比但读写较慢）、LZO、BROTLI、LZ4、UNCOMPRESSED。默认通常为SNAPPY，你可以设置为ZLIB来匹配需求。
• parquet.compression.level：针对支持的压缩算法设置压缩级别，比如ZLIB可设1-9（1最快，9压缩比最高），默认一般为6，兼顾速度和压缩率。

索引与查询优化配置 #

这些选项帮助你配置Parquet的索引，提升查询过滤效率：

• parquet.enable.dictionary：是否启用字典编码索引，默认true。对于重复值较多的字符串或枚举型字段，字典索引能大幅提升压缩率和查询速度。
• parquet.dictionary.page.size：字典页的大小，默认1MB。调整这个值可以平衡内存占用和索引效率，比如字段值特别多的话，适当调大字典页能减少索引拆分。
• parquet.bloom.filter.enabled：全局控制是否启用布隆过滤器索引，默认通常为false。布隆过滤器能快速判断某个值是否存在于行组中，适合经常用作WHERE条件的字段，开启后能显著减少不必要的数据扫描。
• parquet.bloom.filter.fpp：布隆过滤器的误判率，默认0.05（5%）。值越小，过滤器占用空间越大，但误判概率越低，可根据业务对准确性的要求调整。
• parquet.bloom.filter.exclude.columns：指定不需要布隆过滤器的列，用逗号分隔列名，避免给无关字段浪费资源。
• parquet.read.support.dictionary：读取时是否支持利用字典索引加速，默认true，确保查询能充分用到已构建的字典索引。

存储布局与性能调优配置 #

这些选项控制Parquet文件的存储结构，影响读写的IO效率：

• parquet.block.size（或parquet.row.group.size）：行组（Block）的大小，默认128MB。行组是Parquet中压缩和索引的基本单位，越大的行组压缩率越高，索引效率越好，但会占用更多内存。如果你的查询经常扫描大段数据，可以考虑调至256MB；小查询场景128MB足够。
• parquet.page.size：页的大小，默认1MB。页是Parquet的最小读写单位，太小会增加IO次数，太大可能影响缓存命中率，根据你的内存和IO情况调整。
• parquet.write.batch.size：写入时的批处理行数，默认1000行。调大这个值（比如10000）能提升批量写入的性能，减少IO交互次数。
• parquet.merge.schema：当写入多个schema不一致的文件时，是否自动合并schema，默认false。如果你的源ORC表存在schema演化的情况，开启这个参数能避免写入失败。
• parquet.strict.schema：是否严格检查schema一致性，默认true。设为false可以兼容一些轻微的schema差异（比如字段顺序变化），但可能带来潜在的数据风险。
• parquet.skip.corrupted.files：读取时是否跳过损坏的文件，默认false。开启后能避免整个查询因个别坏文件而失败，适合数据量较大、偶尔出现文件损坏的场景。

这里给你一个从ORC转Parquet的示例建表语句，结合你的需求配置了ZLIB压缩、字典索引和布隆过滤器：

-- 创建Parquet格式的目标表，结构和源ORC表一致
CREATE TABLE target_parquet_table
LIKE source_orc_table
STORED AS PARQUET
TBLPROPERTIES (
  'parquet.compression' = 'ZLIB',
  'parquet.compression.level' = '6',
  'parquet.enable.dictionary' = 'true',
  'parquet.bloom.filter.enabled' = 'true',
  'parquet.block.size' = '134217728', -- 128MB，对应默认值
  'parquet.write.batch.size' = '10000'
);

-- 从ORC表导入数据到Parquet表
INSERT INTO target_parquet_table SELECT * FROM source_orc_table;

内容的提问来源于stack exchange，提问作者Istvan