AWS Glue读取海量S3文件报错，如何限制读取数或指定分区

定向读取指定分区 #

你的存储桶采用partition=n/的Hive兼容分区结构，可通过分区过滤避免全量文件扫描，从根源减少元数据解析体量：

• 保留原有从Catalog读取的逻辑，添加下推过滤参数，无需改动现有Catalog配置：

  DataSource0 = glueContext.create_dynamic_frame.from_catalog(
      database = "s3-sat-dth-prd",
      table_name = "datahub_meraki_user_data",
      push_down_predicate = "partition in ('13', '14')", # 替换为目标分区值即可
      transformation_ctx = "DataSource0"
  )
  

  该参数会让Glue仅拉取匹配条件的分区下的文件元数据，不会扫描其他目录的文件，避开全量元数据解析的报错场景。
• 若Catalog全量元数据加载效率过低，可绕开Catalog直接指定目标分区的S3路径创建动态帧：

  DataSource0 = glueContext.create_dynamic_frame.from_options(
      connection_type = "s3",
      connection_options = {
          "paths": ["s3://<存储桶对应路径>/partition=13/", "s3://<存储桶对应路径>/partition=14/"],
          "recurse": True
      },
      format = "<表对应的实际文件格式，如parquet、json、csv>",
      transformation_ctx = "DataSource0"
  )
  

  这种方式完全跳过Catalog的全量表元数据扫描，读取效率更高。

首次运行限流配置 #

首次调试验证任务链路时，可通过参数限制单次读取的文件规模，避免一次性加载过多元数据触发报错：

• 走Catalog读取场景下，在Glue任务的高级参数配置中添加--extra_files_per_retrieval参数，将值设置为较小的数值（如100、500），控制每次拉取的文件元数据量，待链路验证通畅后再调整参数值放开限制。
• 走直接读取S3路径场景下，在连接选项中添加"maxFiles"参数，直接限制单次读取的文件总数：

  DataSource0 = glueContext.create_dynamic_frame.from_options(
      connection_type = "s3",
      connection_options = {
          "paths": ["s3://<存储桶分区根路径>"],
          "recurse": True,
          "maxFiles": 100 # 首次验证时仅读取100个文件，跑通后删除该参数或调大阈值
      },
      format = "<对应文件格式>",
      transformation_ctx = "DataSource0"
  )
  

核心排错逻辑 #

Failed to sanitize XML document destined for handler class报错的本质，是全量拉取百万级文件的元数据时，生成的临时元数据XML超出了处理器的解析阈值。核心原则是永远不要在百万级文件规模的桶上直接做无过滤的根目录全量扫描，只要缩小读取范围，就可以从根源规避该问题。

内容的提问来源于stack exchange，提问作者parmigiano