AWS Glue Spark任务写入Redshift失败:连接尝试超时
Redshift写入超时问题排查清单
以下是你可能遗漏的配置或检查点:
- Redshift公网/内网访问配置
如果Glue作业未部署在VPC内,需确认Redshift集群已开启公开可访问选项,且集群安全组允许Glue服务IP段访问默认端口5439;若Glue在VPC内运行,要确保两者处于同一VPC或已配置VPC对等连接,且双方安全组互相放通5439端口的入出站规则。 - Glue作业VPC配置细节
检查Glue作业绑定的子网是否有指向Redshift的有效路由(同VPC为本地路由,跨VPC为对等连接路由,公网访问则需互联网网关路由);确认子网安全组允许出站访问5439端口;同时要保证子网有足够的可用IP分配给Glue Worker节点。 - Redshift连接参数校验
核对代码中Redshift端点域名、端口(默认5439,若修改过需对应)、数据库名、账号密码是否完全正确;若使用IAM认证方式,需确认Glue角色拥有Redshift的redshift:GetClusterCredentials权限,且JDBC连接字符串正确配置了IAM认证参数。 - Glue版本与驱动兼容性
旧版本Glue可能存在Redshift JDBC驱动兼容性问题,建议升级Glue作业至4.0及以上版本,确保驱动与Redshift集群版本匹配。 - Redshift集群负载状态
登录Redshift控制台查看集群监控指标,确认CPUUtilization、ConnectionCount等指标是否正常,若集群处于高负载状态(如大量查询运行、资源耗尽),会导致新连接请求超时。 - VPC DNS配置
若Glue在VPC内运行,需确认VPC已启用启用DNS主机名和启用DNS解析选项,否则可能无法正确解析Redshift端点域名,导致连接失败。 - 安全组规则优先级与范围
检查Redshift安全组的入站规则,确保允许Glue Worker所在的CIDR段访问5439端口,避免规则范围错误或存在优先级更高的拒绝规则。
内容的提问来源于stack exchange,提问作者Mohit Aswani
相关产品推荐
相关产品推荐

