云存储Parquet最优配置咨询：文件大小、行组及页设置

一、云存储下Parquet核心参数最优建议 #

1. 文件大小 #

云存储场景下，Parquet文件建议控制在100MB-500MB区间：

• 小于100MB会增加云存储的请求开销（如对象存储的API调用次数），提升成本；
• 大于500MB会降低并行读取效率，且部分范围查询（如你的10天数据查询）可能需要读取过多无关内容。
  你计划合并成的220MB文件刚好落在最优区间内，无需调整。

2. 行组数量与大小 #

行组是Parquet的最小并行读取单元，结合你的查询模式（固定expiryDate/strike/optionType，范围查询windowStart）：

• 单一行组压缩后大小建议控制在10MB-50MB，你当前25万行的行组对应压缩后约2.2MB，属于偏小但可接受的范围；若想进一步优化，可将行组行数调整至50万-100万，让单一行组压缩后接近10MB，减少行组数量（比如20-40个行组对应220MB文件），降低元数据总开销的同时，不影响查询时的行组过滤效率。
• 你的行组排序键（expiryDate→strike→optionType→windowStart）完全匹配查询条件，这是核心优势——Parquet可通过行组的min/max元数据直接过滤掉绝大多数无关行组，无需全文件扫描，务必保持该排序逻辑。

3. 列块页数 #

Parquet的页是最小读取单元，当前每个列块含4个约64k行的页，建议优化为每个列块1-2个页：

• 页行数太小会导致读取次数增加，提升云存储请求成本；将页大小调整为1MB（对应uint32列约256k行），刚好匹配你当前25万行的行组，每个列块仅需1个页，能减少元数据体积，同时降低读取时的请求开销。
• 注意：页大小需在写入小文件时配置，合并阶段无法修改已有页的结构。

二、当前配置的优化点 #

1. 列块页大小：写入小文件时将页大小调整为1MB，减少列块页数，提升读取效率。
2. 行组行数：若当前25万行的行组是由TargetRowsPerRowGroup设置导致，可将该值调整为50万-100万，让单一行组压缩后接近10MB，平衡元数据开销与读取效率。
3. 无需调整的部分：排序键设计、OHLC转uint32的存储优化、仅追加的写入模式均为最优选择，保持即可。

三、无解码合并方案的可行性 #

完全可行，这是Parquet合并的最优方式：

• 只要待合并的小文件schema完全一致（字段名、类型、压缩方式、排序顺序等），即可直接将小文件的行组拼接成大文件，无需解码重编码，这种方式称为「行组拼接（Row Group Concatenation）」。
• 优势：合并速度极快，不会损失压缩率，也不会引入数据失真；合并后仅需更新文件级元数据（如全局min/max统计），就能保证查询效率与原小文件一致。
• 注意：合并前必须确认所有小文件的schema完全匹配，否则会导致合并后的文件无法正常读取。

内容的提问来源于stack exchange，提问作者Jack