如何为AWS Glue配置适配复杂XSD结构的XML爬虫

你遇到的字段识别不全问题核心来自两个默认配置限制：

1. Glue爬虫默认仅采样XML文件前1MB内容做Schema推断，你的单文件体积达500MB，前1MB采样段未覆盖全所有节点结构，导致仅识别到采样范围内的nametext和_type字段
2. 自定义XML分类器未正确生效，要么是行标签配置不符合要求，要么是优先级低于默认分类器未被调用

配置调整步骤 #

1. 正确配置XML自定义分类器 #

• 行标签（Row Tag）填写你要映射为单条数据的重复元素的纯标签名，区分大小写，不要加尖括号、命名空间前缀（如果开启命名空间感知的话可以忽略前缀）。比如根元素下的重复记录节点是<GovernmentReport>，行标签就填GovernmentReport，不要填写根元素作为行标签
• 把自定义XML分类器的优先级调整为最高，Glue爬虫按优先级从高到低匹配分类器，优先级不足会导致自定义配置不生效

2. 调整爬虫采样与解析参数 #

在爬虫配置的「安全配置、脚本参数和自定义类路径」板块，添加以下脚本参数：

• 添加--xml-sample-size参数，值设置为足够覆盖所有节点结构的字节数，比如10MB对应填10485760，如果还是识别不全可以继续调大，最大支持设置为整个文件的体积，大采样值会增加爬虫运行耗时，可根据实际情况权衡
• 如果你的XML文件带命名空间，添加--xml-namespace-aware参数，值设为true，开启后Glue会正确识别带命名空间前缀的节点，避免字段遗漏

3. 利用现有XSD跳过自动推断 #

你已有现成XSD的情况下，不需要依赖自动推断功能，可直接用以下方案复用XSD：

• 将XSD上传到AWS Glue Schema Registry，爬虫运行时会优先匹配Registry中对应的Schema，完全避免推断误差
• 也可以用spark-xml库本地加载XSD生成结构化Schema后，直接导入到Glue Data Catalog中，比手动编辑Schema效率高很多

额外排查点 #

• 确认爬虫扫描路径下所有XML文件结构一致，结构不同的文件放在同一路径下会导致Schema合并错误
• 爬虫运行模式选择「更新所有现有表和添加新表」，避免旧的错误Schema无法被覆盖
• 可以先截取一份包含所有字段的小体积XML样本放在单独路径跑爬虫，生成正确Schema后再切换到正式文件路径，后续爬虫会直接复用已有Schema解析大文件，不会再重新推断出错

内容的提问来源于stack exchange，提问作者DatsunBing