You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

AWS EMR集群网络不可达求助:无法安装软件包

解决AWS EMR集群无法访问公网导致fastparquet安装失败的问题

1. 检查VPC子网的公网访问配置

  • 确认集群所在VPC子网类型:如果是私有子网,必须配置NAT网关;如果是公有子网,要保证子网路由表里存在0.0.0.0/0指向Internet网关(IGW)的路由规则,没有的话直接添加。
  • 登录AWS控制台进入VPC路由表页面,核对目标为0.0.0.0/0的路由条目是否存在,且指向正确的网关。

2. 验证安全组和网络ACL的出站规则

  • 安全组:确保出站规则允许TCP 443端口(HTTPS)访问0.0.0.0/0,避免pip的HTTPS请求被拦截。
  • 网络ACL:出站规则需放行443端口的流量,入站规则允许已建立连接的响应流量(通常设置为允许所有已建立的TCP连接)。

3. 确认EMR集群的公网访问开关

  • 创建集群时如果未勾选“允许集群访问公网”,默认无法直接访问公网。可以选择重新创建集群并开启该选项,或者给现有主节点绑定弹性公网IP(EIP),同时确保路由配置匹配。
  • 查看主节点的实例详情,确认是否有公网IP,无公网IP的情况下要么绑定EIP,要么通过NAT网关实现内网转公网访问。

4. 换用AWS内部镜像源绕开公网

如果暂时无法调整网络配置,直接使用AWS内部PyPI镜像源安装包:

pip install fastparquet --index-url https://aws-pypi.amazonaws.com/simple/

若能访问公网但存在证书信任问题,可尝试指定信任主机:

pip install fastparquet --index-url https://pypi.org/simple/ --trusted-host pypi.org --trusted-host files.pythonhosted.org

5. 用更精准的命令排查连通性

不要仅依赖ping(ping可能被拦截但HTTPS流量可正常通行),用curl查看具体连接错误:

curl -v https://pypi.org/simple/fastparquet/

也可先测试AWS内部服务连通性,比如执行curl s3.amazonaws.com,如果能正常访问,说明内网配置无问题,故障点在公网路由环节。

内容的提问来源于stack exchange,提问作者Srinath

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.07.22 15:35:06