Databricks写入Parquet时Row group size过大问题及咨询

问题1：如何将该数据加载到Parquet？ #

可以通过以下配置和操作解决：

• 调整Parquet行组大小：设置spark.sql.parquet.rowGroupSize为大于单条记录最大尺寸的值（比如3000000000，即3GB），确保单个行能完整放入一个行组。代码示例：

  spark.conf.set("spark.sql.parquet.rowGroupSize", "3000000000")
  

  或提交Spark任务时指定参数：

  spark-submit --conf spark.sql.parquet.rowGroupSize=3000000000 ...
  

• 限制单文件记录数：设置spark.sql.parquet.maxRecordsPerFile为1，让每个Parquet文件仅存储一行，避免多个大记录挤入同一行组导致尺寸超标：

  spark.conf.set("spark.sql.parquet.maxRecordsPerFile", "1")
  

• 提升内存配置：由于单条记录达2.5GB，需确保Driver和Executor有足够内存处理大对象，调整spark.driver.memory和spark.executor.memory至4GB以上（比如8g）：

  spark-submit --driver-memory 8g --executor-memory 8g ...
  

• 启用轻量压缩：对大JSON列启用Snappy压缩，在减少存储体积的同时不显著影响性能：

  spark.conf.set("spark.sql.parquet.compression.codec", "snappy")
  

问题2：Parquet能否处理1.5GB的超大列？ #

可以处理，但需配合合适的配置。Parquet本身没有严格的单列大小上限，核心限制来自行组大小设置和内存资源：

• 只要行组大小设置大于该列的单值尺寸，就能容纳这个大列；
• 处理时需要足够内存加载和序列化大列对象，避免内存溢出错误。

问题3：当列尺寸过大时，Parquet会将一列放入一个行组还是拆分为多个行组？ #

Parquet的行组是按行划分的，而非按列。每个行组包含一组连续的完整行，单个行的所有列数据都会被放入同一个行组：

• 如果单个行的总大小超过行组默认阈值，Parquet会将这一行单独作为一个行组；
• 不会将单个列的值拆分到多个行组，因为行组的设计是保证行数据的完整性，同一行的所有列必须在同一个行组内。

内容的提问来源于stack exchange，提问作者Jegan Jegan