Spark 2.3.1升级至3.4后Parquet文件2-3KB大小差异原因咨询
Spark版本升级后Parquet文件大小差异疑问
我已查阅过类似问题,但未找到针对自身场景的有说服力解答。具体情况如下:
- 将现有ETL代码的Spark版本从2.3.1升级至3.4,同步升级了hadoop、hive、yarn等传递依赖
- 代码未做任何修改,源XML数据完全一致
- ETL流程为:处理XML源数据 → 采用LZO压缩编码生成Parquet文件 → 存储至S3存储桶
升级后发现,Spark 2.3.1与3.4生成的Parquet文件存在2-3KB的大小差异:部分场景下2.3.1生成的文件更小,部分场景则相反。
想明确:这种大小差异是源于两个Spark版本间的LZO压缩行为差异,还是Parquet编码器的实现差异?恳请给出分析建议。
内容的提问来源于stack exchange,提问作者G.S.Tomar
相关产品推荐
相关产品推荐

