如何解决AWS Glue Job写入Iceberg表时的连接超时问题

核心排查与修复步骤 #

1. 验证Iceberg存储路径的网络可达性 #

• 检查Glue作业所在VPC的S3网关端点配置：确保VPC已创建S3网关端点，且对应子网的路由表添加了指向该端点的路由条目，避免通过公网访问S3触发超时。
• 确认S3桶的VPC端点策略：允许Glue作业的IAM角色执行s3:PutObject、s3:GetObject、s3:ListBucket等操作，确保权限覆盖Iceberg表的存储路径。

2. 元数据服务的网络连通性检查 #

• 若使用Glue Catalog作为Iceberg元数据存储：需在VPC内创建Glue接口端点（com.amazonaws.<region>.glue），并确保作业子网的安全组允许出站访问该端点的443端口。
• 若使用自定义元数据服务（如Hive Metastore）：检查作业安全组是否允许访问元数据服务的端口（默认9083），同时确认元数据服务所在子网与作业子网的网络互通（如通过VPC对等连接或同一VPC）。

3. 补全Glue作业的IAM权限 #

• 为作业角色添加Iceberg相关权限：包含glue:CreateTable、glue:UpdateTable、glue:GetTable等Glue Catalog操作权限；若使用Lake Formation管理Iceberg表，需额外配置Lake Formation的INSERT、ALTER权限。
• 确认角色信任策略：确保允许glue.amazonaws.com服务主体承担该角色，避免权限委托失败。

4. 调整作业配置参数 #

• 增加网络超时阈值：在Glue作业参数中添加--conf spark.network.timeout=300s（可根据实际情况调整时长），缓解网络延迟导致的超时问题。
• 校验Iceberg代码配置：确保写入逻辑中指定了正确的Catalog类型（如spark.sql.catalog.glue_catalog=org.apache.iceberg.spark.SparkCatalog），以及spark.sql.catalog.glue_catalog.warehouse=s3://<你的存储桶路径>等核心参数，避免配置错误引发无效请求。

5. 底层资源网络验证 #

• 检查作业EC2实例的安全组出站规则：确保允许访问S3、Glue Catalog或元数据服务的端口，无过度限制。
• 测试连通性：在同VPC的测试EC2实例上，使用telnet或curl工具测试目标端点的连通性，确认网络链路无阻塞。

内容的提问来源于stack exchange，提问作者Adriano