S3 boto3拒绝覆盖设置的endpoint_url 访问内部非AWS S3服务报错

问题原因 #

• 首先排查参数优先级问题：如果代码中传入的endpoint_url正确，boto3不会主动忽略该配置，绝大多数情况是后续请求链路的问题而非参数未生效
• 代理配置未排除内部域名：你的运行环境中配置了全局HTTP/HTTPS代理，boto3默认继承系统代理配置，访问内部S3端点时仍尝试走代理，触发连接报错
• S3寻址方式不兼容：boto3默认使用虚拟主机风格寻址（将桶名拼接在端点域名前缀，如https://{桶名}.{内部域名}），如果你的内部S3服务不支持该寻址模式，会导致域名解析错误，最终跳转至公网AWS S3端点
• 低概率参数拼写错误：检查endpoint_url的参数值是否存在拼写错误（如你示例中值的部分写为enpoint，少了字母d）

解决方法 #

1. 先确认endpoint实际生效值 #

在初始化客户端后加一行调试代码，确认配置是否正确加载：

print(s3_client._endpoint.host)

如果输出不是你指定的内部地址，再排查环境变量、AWS配置文件中是否有覆盖该参数的配置。

2. 禁用代理/配置内部域名不走代理 #

两种方式二选一即可：

• 代码中直接禁用boto3的代理配置：
  先导入botocore的Config类

  from botocore.config import Config
  

  初始化客户端/资源时传入proxies={}清空代理配置：

  s3_client = boto3.client(
      's3',
      region_name='EU-WEST-1',
      aws_access_key_id='xxx',
      aws_secret_access_key='zzz',
      endpoint_url='https://my_company_endpoint_url',
      config=Config(proxies={}) # 禁用代理
  )
  

• 运行代码前设置环境变量，将内部S3域名加入不走代理的列表：

  export NO_PROXY=my_company_endpoint_url
  

3. 强制使用路径风格寻址 #

如果内部S3不支持虚拟主机风格寻址，在Config中增加寻址方式配置：

config=Config(
    proxies={},
    s3={'addressing_style': 'path'}
)

资源初始化方式和客户端的配置逻辑完全一致，新增上述config参数即可。

内容的提问来源于stack exchange，提问作者teatonic