You need to enable JavaScript to run this app. AWS Glue 如何通过SSH隧道连接本地部署的MySQL数据库
优惠活动
大模型
产品
解决方案
定价
更多

AWS Glue 如何通过SSH隧道连接本地部署的MySQL数据库

支持SSH隧道的AWS Glue连接配置方案

前置准备

  • 确认Glue连接所用的IAM角色已附加AmazonEC2ContainerRegistryReadOnly、AWSGlueServiceRole基础权限,同时添加允许访问VPC资源、弹性网卡的相关权限。
  • 确认VPC私有子网的安全组出站规则,允许通向企业VPN网段内SSH跳板机的22端口流量,以及隧道对应的数据库端口流量。
  • 将SSH跳板机的登录私钥存储在AWS Secrets Manager中,存储格式选择纯文本,供Glue作业运行时调用。

实现逻辑

原生Glue Connection目前不支持直接内置SSH隧道配置,所有隧道逻辑需要在Glue作业的初始化阶段完成

步骤1:创建基础Glue网络连接

首先创建一个普通的网络类型Glue连接,关联你已经对接企业VPN的VPC、私有子网、对应安全组。这个连接的作用是让Glue作业运行时可以挂载到你的VPC网络中,访问到VPN网段内的SSH跳板机。

步骤2:在Glue作业脚本中添加SSH隧道建立逻辑

以PySpark脚本为例,你需要在初始化数据库连接前,先完成隧道配置:

  1. 作业参数配置:添加参数--additional-python-modules,值设为sshtunnel==0.4.0(如果是Glue 4.0及以上版本,建议将依赖包提前上传到S3,通过--extra-py-files参数引用,避免运行时安装失败)
  2. 代码示例:
import boto3
from sshtunnel import SSHTunnelForwarder
from awsglue.context import GlueContext
from pyspark.context import SparkContext
# 以下导入根据你的数据库类型替换为对应驱动
import psycopg2

# 从Secrets Manager获取SSH私钥
secrets_manager = boto3.client('secretsmanager')
ssh_private_key = secrets_manager.get_secret_value(SecretId="SSH私钥对应的Secret ARN")['SecretString']

# 建立SSH隧道
server = SSHTunnelForwarder(
    ('SSH跳板机IP', 22),
    ssh_username="跳板机登录用户名",
    ssh_private_key=ssh_private_key,
    remote_bind_address=('本地数据库内网IP', 数据库端口),
    local_bind_address=('0.0.0.0', 自定义本地映射端口)
)
server.start()

# 后续数据库连接直接访问本地映射端口即可,其余读写逻辑和普通JDBC连接完全一致
jdbc_url = f"jdbc:postgresql://localhost:{server.local_bind_port}/数据库名称"

# 作业运行结束后关闭隧道
# server.stop()

注意事项

  • SSH隧道仅在作业运行的单个Executor节点生效,如果是分布式作业需要大量节点同时访问数据库,建议在VPC内搭建统一的端口转发代理,所有Glue节点直接访问代理即可,无需每个作业单独建立隧道。
  • 可以将SSH跳板机地址、数据库地址等敏感信息统一存入Secrets Manager,避免硬编码到脚本中。

内容的提问来源于stack exchange,提问作者kazantzakis

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.09 13:36:01