如何在AWS Glue脚本中配置代理以连接Snowflake？

问题重现 #

在AWS Glue脚本中尝试两种代理配置方式连接Snowflake均未生效：

• 方式1：设置环境变量

os.environ['USE_PROXY'] = 'true'
os.environ['http_proxy'] = '<>'
os.environ['https_proxy'] = '<>'

• 方式2：配置Spark Driver参数

spark.driver.extraJavaOptions = <>

核心问题是Glue容器IP动态变化，触发Snowflake IP白名单拦截，错误提示：

An error occurred while calling o582.load. IP <> is not allowed to access Snowflake. Contact your local security administrator.

因安全限制，无法使用AWS Glue官方预置连接方式

可行解决方案 #

1. 固定Glue出站IP并正确配置代理 #

AWS Glue默认使用VPC内随机私有IP，要解决IP白名单问题，需先固定出口IP：

• 配置Glue作业使用私有子网，关联绑定弹性IP的NAT网关，让所有出站流量通过NAT网关转发，只需将NAT网关的弹性IP加入Snowflake白名单。
• 代理配置不能仅在脚本内修改，需通过Glue作业级配置设置Spark参数（在作业配置界面的"Spark参数"栏添加）：

  --conf spark.driver.extraJavaOptions="-Dhttp.proxyHost=<代理IP> -Dhttp.proxyPort=<端口> -Dhttps.proxyHost=<代理IP> -Dhttps.proxyPort=<端口>"
  --conf spark.executor.extraJavaOptions="-Dhttp.proxyHost=<代理IP> -Dhttp.proxyPort=<端口> -Dhttps.proxyHost=<代理IP> -Dhttps.proxyPort=<端口>"
  

  同时在Snowflake连接参数中补充代理配置（若连接器支持）：

  sf_options = {
      "sfURL": "<snowflake-url>",
      "sfUser": "<user>",
      "sfPassword": "<password>",
      "sfDatabase": "<db>",
      "sfSchema": "<schema>",
      "sfWarehouse": "<warehouse>",
      "proxyHost": "<代理IP>",
      "proxyPort": "<端口>"
  }
  

2. 验证代理配置有效性 #

在Glue脚本中添加测试代码，确认出口IP符合白名单要求：

import requests
proxies = {
    "http": "<http-proxy-url>",
    "https": "<https-proxy-url>"
}
try:
    response = requests.get("https://api.ipify.org", proxies=proxies)
    print(f"当前出口IP: {response.text}")
except Exception as e:
    print(f"代理连接失败: {str(e)}")

3. 排查常见配置坑 #

• 脚本内设置的os.environ无法被Spark executor或Snowflake连接器读取，需在Glue作业配置的"环境变量"栏统一添加代理变量。
• 私有代理需与Glue作业所在VPC网络连通，安全组要允许Glue的IP段访问代理端口。

内容的提问来源于stack exchange，提问作者Raju