PySpark读取含大字符串Parquet文件的性能问题及内存疑问

关于Java大字符串内存分配的假设验证 #

你的假设完全成立，核心问题出在Spark底层Java环境的字符串编码转换与内存开销：

• Spark核心基于Java实现，Java的String采用UTF-16编码，而Parquet中存储的字符串是UTF-8编码的BYTE_ARRAY。读取大字符串时，Java需要将UTF-8字节数组转换为UTF-16格式的String，内存占用会直接翻倍（纯ASCII字符场景），若包含多字节字符，开销会进一步增大。
• 大字符串的连续内存分配会给Java堆带来巨大压力：Java的String对象本身带有对象头、长度字段等额外开销，加上Spark内存池是执行内存与存储内存共享的设计，大字符串批量加载时极易挤爆内存池触发OOM。
• Pandas+PyArrow基于C++实现，直接处理UTF-8字节数据，无需编码转换，内存利用率远高于Java环境，因此不会出现同类问题。

结合你提供的Parquet元数据：列类型为BYTE_ARRAY+UTF8，压缩率达82%，解压后的原始字符串（最高20MB）转成JavaString后，内存占用至少会达到40MB以上，单条记录的内存开销已很高，批量处理时OOM风险自然陡增。

优化提速方法 #

• 调整Spark内存配置

  • 增大Executor内存：通过--executor-memory或spark.executor.memory提高单Executor内存配额，同时设置spark.memory.fraction=0.7、spark.memory.storageFraction=0.2，让执行内存拥有更多可用空间。
  • 减小列存批处理大小：设置spark.sql.inMemoryColumnarStorage.batchSize=100（默认1000），避免一次性加载过多大字符串到内存。

• 避免全量加载大字符串

  • 若仅需API响应中的部分字段，直接用Spark内置的from_json函数解析JSON响应，只提取所需字段，丢弃冗余内容，从根源减少内存占用。
  • 处理非JSON响应时，编写轻量Python UDF仅提取关键信息后返回，不在内存中保留完整大字符串。

• 优化Parquet文件结构

  • 减小Row Group大小：写入Parquet时设置spark.sql.parquet.rowGroupSize=67108864（64MB），将大文件拆分为多个更小的Row Group，读取时按需加载，避免一次性加载整个大Row Group。
  • 禁用向量式读取：对于超大字符串场景，向量式读取可能一次性缓存过多数据，可尝试设置spark.sql.parquet.enableVectorizedReader=false，改为逐行读取降低内存峰值。

• 改用二进制类型处理

  • 将列类型改为BinaryType（而非StringType），读取时直接以二进制字节流形式处理，避免Java层面的UTF-8到UTF-16转换。需要字符串操作时，再在Python端将bytes转为字符串，利用PyArrow的高效处理能力。

• 利用PyArrow绕过Java堆

  • 使用mapInPandas或Pandas UDF，直接将数据加载到Python端的Pandas DataFrame中处理，数据无需进入Java堆，完全依托PyArrow的C++内存管理机制，规避Java层面的内存瓶颈。

内容的提问来源于stack exchange，提问作者Mateusz