Julia中使用Arrow.jl做数据压缩无体积减小问题咨询

1. 代码冗余问题 #

你当前的代码存在不必要的中间转换逻辑，从DataFrame转Arrow缓冲再转Arrow Table的步骤可以完全省略，直接对原始DataFrame调用Arrow.write即可，多余转换可能引入额外元数据开销，影响压缩效果，优化后代码如下：

using CSV, DataFrames, Arrow
df = CSV.read("input_data.csv", DataFrame)
# 直接传入DataFrame并开启压缩
Arrow.write("output_data.lz4", df; compress=:lz4)

2. 压缩无效果的常见原因 #

• Arrow.jl版本过低：低于v2.2.0的版本对lz4压缩的支持存在缺陷，可执行using Pkg; Pkg.status("Arrow")查看版本，不符合要求时执行Pkg.update("Arrow")升级即可。
• 对比基准错误：不要直接和原始CSV文件做体积对比，CSV是纯文本格式，本身存储效率远低于二进制Arrow格式。你需要和未开启压缩的Arrow输出文件对比体积才能判断压缩是否生效：

  # 生成未压缩对照版本
  Arrow.write("output_data_uncompressed.arrow", df)
  

• 数据本身难以压缩：如果数据集是高熵数据（比如随机数值、已压缩过的二进制内容字段），lz4算法本身无法获得明显压缩比，属于正常情况。
• 小数据集元数据开销：如果输入数据量极小（<100KB），压缩算法的字典、元数据开销可能超过压缩节省的空间，反而出现体积不变甚至变大的情况，属于正常现象，更换更大的数据集测试即可。

内容的提问来源于stack exchange，提问作者Mohammad Saad