AWS Glue 如何通过SSH隧道连接本地部署的MySQL数据库
支持SSH隧道的AWS Glue连接配置方案
前置准备
- 确认Glue连接所用的IAM角色已附加
AmazonEC2ContainerRegistryReadOnly、AWSGlueServiceRole基础权限,同时添加允许访问VPC资源、弹性网卡的相关权限。 - 确认VPC私有子网的安全组出站规则,允许通向企业VPN网段内SSH跳板机的22端口流量,以及隧道对应的数据库端口流量。
- 将SSH跳板机的登录私钥存储在AWS Secrets Manager中,存储格式选择纯文本,供Glue作业运行时调用。
实现逻辑
原生Glue Connection目前不支持直接内置SSH隧道配置,所有隧道逻辑需要在Glue作业的初始化阶段完成
步骤1:创建基础Glue网络连接
首先创建一个普通的网络类型Glue连接,关联你已经对接企业VPN的VPC、私有子网、对应安全组。这个连接的作用是让Glue作业运行时可以挂载到你的VPC网络中,访问到VPN网段内的SSH跳板机。
步骤2:在Glue作业脚本中添加SSH隧道建立逻辑
以PySpark脚本为例,你需要在初始化数据库连接前,先完成隧道配置:
- 作业参数配置:添加参数
--additional-python-modules,值设为sshtunnel==0.4.0(如果是Glue 4.0及以上版本,建议将依赖包提前上传到S3,通过--extra-py-files参数引用,避免运行时安装失败) - 代码示例:
import boto3 from sshtunnel import SSHTunnelForwarder from awsglue.context import GlueContext from pyspark.context import SparkContext # 以下导入根据你的数据库类型替换为对应驱动 import psycopg2 # 从Secrets Manager获取SSH私钥 secrets_manager = boto3.client('secretsmanager') ssh_private_key = secrets_manager.get_secret_value(SecretId="SSH私钥对应的Secret ARN")['SecretString'] # 建立SSH隧道 server = SSHTunnelForwarder( ('SSH跳板机IP', 22), ssh_username="跳板机登录用户名", ssh_private_key=ssh_private_key, remote_bind_address=('本地数据库内网IP', 数据库端口), local_bind_address=('0.0.0.0', 自定义本地映射端口) ) server.start() # 后续数据库连接直接访问本地映射端口即可,其余读写逻辑和普通JDBC连接完全一致 jdbc_url = f"jdbc:postgresql://localhost:{server.local_bind_port}/数据库名称" # 作业运行结束后关闭隧道 # server.stop()
注意事项
- SSH隧道仅在作业运行的单个Executor节点生效,如果是分布式作业需要大量节点同时访问数据库,建议在VPC内搭建统一的端口转发代理,所有Glue节点直接访问代理即可,无需每个作业单独建立隧道。
- 可以将SSH跳板机地址、数据库地址等敏感信息统一存入Secrets Manager,避免硬编码到脚本中。
内容的提问来源于stack exchange,提问作者kazantzakis
相关产品推荐
相关产品推荐

