AWS Glue Visual ETL问题：无法找到Apply Mapping节点映射选项

• 确认数据源元数据完整性

  • 检查AWS数据目录中CSV对应表的元数据：进入Glue数据目录，查看该表的Schema是否包含所有字段且数据类型正确。如果爬虫未爬全字段，重新运行爬虫，同时确保CSV格式规范（无缺失表头、编码统一）。
  • 验证PostgreSQL目标表的连接与元数据：在Glue连接中测试RDS PostgreSQL连接是否正常，确认目标表的Schema已被Glue正确识别（可在数据目录中查看目标表的字段信息）。

• 检查Apply Mapping节点的前置依赖

  • 确保Apply Mapping节点的上游是正确的CSV数据源节点，且上游节点已成功加载数据Schema。若上游未加载到Schema，Apply Mapping会无映射选项。
  • 若使用Glue Studio可视化编辑器，尝试刷新画布或重新添加Apply Mapping节点，编辑器缓存可能导致Schema未同步。

• 处理目标表的主键ID字段

  • 因为目标表多了主键ID字段，需手动配置映射：
    1. 点击Apply Mapping节点的「Add mapping」按钮（需先确保上游Schema已加载）。
    2. 对于ID字段，选择「Create new column」，设置字段名为id，数据类型匹配目标表的主键类型（如int）。
    3. 若主键是PostgreSQL自增类型（如SERIAL），可在后续目标节点中配置忽略该字段输入，让数据库自动生成ID，无需在Apply Mapping中映射。

• 其他排查方向

  • 检查CSV文件格式：若表头含特殊字符、字段大量空值，可能导致爬虫识别Schema失败，可手动编辑数据目录中的表Schema修正字段信息。
  • 查看CloudWatch日志：若已尝试运行作业，检查日志中是否有Schema加载失败的错误提示，根据日志定位具体问题。

内容的提问来源于stack exchange，提问作者Mika Smirnovs