如何使用C# Apache Arrow实现Zstd数据压缩？及跨语言读取疑问

• 直接压缩Arrow文件字节是可行的，但这属于普通二进制文件压缩，并非Arrow官方规范的压缩方式。这种文件无法被其他语言的Arrow库直接读取，必须先手动解压为完整的Arrow文件后，再传入对应语言的Arrow处理逻辑。
• 如果要生成能被其他语言Arrow直接读取的压缩文件，必须遵循Arrow的列级分片压缩协议：即对Arrow数据的每个列数据块单独用Zstd压缩，再按照Arrow的格式规范封装元数据。虽然C# Apache Arrow库没提供原生的压缩API，但可以借助独立的C# Zstd库实现分片压缩逻辑，再对接Arrow的写入接口完成规范封装。
• 两种方式对比：
  • 整文件压缩：实现简单，但需要所有读取方手动解压，不兼容Arrow原生压缩读取流程
  • 列级规范压缩：符合Arrow标准，跨语言Arrow库可自动读取，但需要自行实现分片压缩逻辑

内容的提问来源于stack exchange，提问作者BAR