AWS Glue Dynamic Frame如何对单个文件分区？如何覆盖maxPartitionBytes配置？

AWS Glue Dynamic Frame 底层完全基于Spark的计算引擎实现，单大文件的分区拆分逻辑和Spark原生文件读取逻辑完全一致：

• 首先判断文件是否为可拆分格式：csv、parquet、未压缩的文本等属于可拆分格式；gzip等不可拆分压缩格式的文件无法拆分，单个文件只能对应1个分区
• 对可拆分格式的文件，默认按照spark.sql.files.maxPartitionBytes参数定义的大小拆分单文件，拆分后的每个块对应Dynamic Frame的1个分区，该参数默认值为128MB

你原有代码存在两个问题：一是参数名拼写错误，二是Glue运行环境已默认初始化SparkContext，自行初始化的配置不会生效。可以通过以下两种方式配置该参数：

方式1：Glue控制台全局配置（推荐） #

在Glue任务的编辑页面直接配置作业参数，无需修改代码：

• 找到「作业参数」板块，点击新增参数
• 键填写--conf，值填写spark.sql.files.maxPartitionBytes=41943040（对应40MB）
• 保存任务后重新运行即可全局生效

方式2：代码内动态配置 #

如果需要在代码中灵活调整参数，可直接修改当前运行环境已有的SparkContext配置，参考代码如下：

from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job

# 直接获取当前环境已初始化的SparkContext，不要新建实例
sc = SparkContext.getOrCreate()
# 配置参数，注意参数值必须为字符串格式
sc._conf.set("spark.sql.files.maxPartitionBytes", "41943040")

# 后续正常初始化GlueContext、读取文件即可
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)

注意事项 #

• 该参数仅对可拆分格式的文件生效，不可拆分的压缩文件无法通过该参数拆分单文件
• 配置的参数值必须为字符串类型，直接传入数字会导致配置不生效

内容的提问来源于stack exchange，提问作者Aji C S