AWS Glue任务执行中偶发NullPointerException问题求助

我之前处理过类似的Glue作业异常，结合你的错误日志和场景，给你几个实际可行的排查方向：

1. 先定位问题根源：数据源或中间文件损坏 #

从错误日志看，异常出现在EmrFileSystem.open()方法，说明Spark在尝试读取S3上的Parquet文件时找不到有效文件句柄。虽然你说导入和连接都成功，但可能存在隐藏的文件问题：

• 分别对两个原始数据源执行count()和写入测试，确认是否其中一个数据源本身存在损坏的Parquet文件（比如0字节文件、Schema异常文件）。
• 用AWS CLI遍历数据源路径，检查文件状态：

  aws s3 ls s3://your-source-bucket/path/ --recursive | grep ".parquet" | awk '{print $3, $4}' | sort -n
  

  重点关注大小异常的文件，这类文件可能在导入阶段未被检测到，但后续操作会触发读取失败。

2. 调整Parquet读取配置，规避兼容性问题 #

向量式Parquet读取在处理某些非标准Parquet文件时容易触发NPE，试试禁用该特性：

from pyspark.context import SparkContext
sc = SparkContext.getOrCreate()
# 禁用向量读取
sc._jsc.hadoopConfiguration().set("spark.sql.parquet.enableVectorizedReader", "false")
# 如果数据源Schema完全一致，关闭Schema合并
sc._jsc.hadoopConfiguration().set("spark.sql.parquet.mergeSchema", "false")

3. 检查Glue临时路径的权限与冲突 #

Glue作业依赖S3临时路径存储Shuffle数据，若临时路径权限不足或被其他作业干扰，可能导致文件丢失：

• 在Glue作业配置中指定自定义临时路径（比如s3://your-bucket/glue-temp/），确保该路径有s3:GetObject、s3:PutObject、s3:DeleteObject权限。
• 避免多个作业共享同一临时路径，防止文件被意外清理。

4. 优化连接后的DataFrame分区，避免单节点压力 #

3800万条数据连接后写入单个文件，会导致大量数据集中到一个Executor，即使内存足够，也可能触发文件IO异常：

• 先对连接后的DataFrame重新分区，再执行后续操作：

  # 根据数据量设置合理分区数，比如200-500
  joined_df = joined_df.repartition(300)
  # 或者写入时限制单文件记录数
  glueContext.write_dynamic_frame_from_options(
      frame=DynamicFrame.fromDF(joined_df, glueContext, "joined_df"),
      connection_type="s3",
      connection_options={"path": output_path},
      format="parquet",
      format_options={"maxRecordsPerFile": 1000000}
  )
  

5. 禁用EMRFS一致性缓存 #

EMRFS的元数据缓存可能导致文件状态不一致，试试关闭缓存：

sc._jsc.hadoopConfiguration().set("fs.s3.consistent", "false")
sc._jsc.hadoopConfiguration().set("fs.s3.consistent.retryPolicyType", "none")

建议按顺序排查，先从数据源完整性验证开始，再逐步调整配置和分区策略，大部分这类随机NPE都能通过上述方案解决。

内容的提问来源于stack exchange，提问作者Jaco Van Niekerk