You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

Spark 2.3.1升级至3.4后Parquet文件2-3KB大小差异原因咨询

Spark版本升级后Parquet文件大小差异疑问

我已查阅过类似问题,但未找到针对自身场景的有说服力解答。具体情况如下:

  • 将现有ETL代码的Spark版本从2.3.1升级至3.4,同步升级了hadoop、hive、yarn等传递依赖
  • 代码未做任何修改,源XML数据完全一致
  • ETL流程为:处理XML源数据 → 采用LZO压缩编码生成Parquet文件 → 存储至S3存储桶

升级后发现,Spark 2.3.1与3.4生成的Parquet文件存在2-3KB的大小差异:部分场景下2.3.1生成的文件更小,部分场景则相反。

想明确:这种大小差异是源于两个Spark版本间的LZO压缩行为差异,还是Parquet编码器的实现差异?恳请给出分析建议。


内容的提问来源于stack exchange,提问作者G.S.Tomar

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.07.02 21:15:58