咨询可写入符合Parquet规范Delta编码文件的开源C++/Python库

首先确认现状：Apache Arrow 目前内置的Parquet模块确实仅实现了Delta编码的读取能力，未开放对应写入接口，以下是经过广泛生产验证、输出完全符合Parquet官方规范的可用方案：

C++ 可用库 #

• Apache Parquet 原生C++核心库
  注意和Arrow绑定的Parquet组件做区分，这是Parquet项目独立维护的官方C++实现，从1.5.0版本开始完整支持规范定义的三类Delta编码（DELTA_BINARY_PACKED、DELTA_LENGTH_BYTE_ARRAY、DELTA_BYTE_ARRAY）写入，输出文件和Arrow、Spark、Trino等主流查询引擎的读逻辑完全兼容。编译时默认开启Delta编码支持，写入阶段只需为目标列显式指定对应Delta编码类型即可，无需二次修改源码。
• DuckDB 嵌入式分析引擎
  内置自研的Parquet写入模块，原生支持Delta编码配置，C++集成场景下无需单独编译维护Parquet依赖，直接调用其写入接口为对应列配置Delta编码规则即可输出合规文件，写入性能属于第一梯队，适合轻量嵌入的场景。

Python 可用库 #

• fastparquet
  是Python生态除pyarrow外应用最广的独立Parquet实现，从0.7.0版本起支持全类型Delta编码写入，接口简单：调用写文件方法时为目标列指定encoding='delta'参数即可生成合规文件，和全生态Parquet读取端的兼容性经过多年生产验证，大量pandas离线处理场景都在使用。
• PySpark
  底层依赖Apache Parquet官方Java实现，Python侧可直接通过参数配置开启Delta编码写入：写入Parquet文件时设置配置项spark.sql.parquet.enableDeltaEncoding=true，引擎会自动为适配的数值、字符串类列选择Delta编码，输出文件完全符合规范，是大数据生产场景的主流选择。

避坑提示：此处提到的Delta编码是Parquet官方规范定义的列值压缩编码，和Delta Lake表格式的事务日志能力没有关联，不要混淆两类概念。

内容的提问来源于stack exchange，提问作者cogle