如何在Google Cloud Composer中建立可用的JDBC连接？

我之前在Cloud Composer环境里折腾过JDBC连接的坑，刚好能给你一些实际可落地的解决方案：

一、指定JDBC驱动.jar文件路径 #

你设想的路径/home/airflow/gcs/drivers/xxx.jar是完全可行的，步骤如下：

• 把你的JDBC驱动jar文件上传到Composer环境对应的GCS存储桶的drivers目录下（如果没有就新建一个），路径类似gs://<你的Composer存储桶名称>/drivers/xxx.jar。
• Cloud Composer会自动把GCS桶挂载到Airflow Worker的本地文件系统，挂载点就是/home/airflow/gcs，所以你在代码里直接用/home/airflow/gcs/drivers/xxx.jar作为驱动路径即可。
• 验证路径是否存在：可以在Airflow的Adhoc窗口运行一个简单的Bash任务，执行ls /home/airflow/gcs/drivers，就能看到上传的jar文件。

示例代码（使用jaydebeapi）：

import jaydebeapi

def jdbc_connection_task():
    # 设置环境变量（如果需要）
    import os
    os.environ["JAVA_HOME"] = "/usr/lib/jvm/default-java"
    
    # 建立JDBC连接
    conn = jaydebeapi.connect(
        "<你的JDBC驱动类名，比如com.mysql.cj.jdbc.Driver>",
        "<JDBC连接字符串，比如jdbc:mysql://host:port/dbname>",
        ["<用户名>", "<密码>"],
        "/home/airflow/gcs/drivers/xxx.jar"
    )
    # 后续操作...

二、安装并配置Java JRE #

Cloud Composer的Worker默认没有预装JRE，你可以通过初始化脚本来自动安装：

1. 创建一个Shell脚本install_jre.sh，内容如下：

#!/bin/bash
# 更新包列表并安装JRE和依赖
apt-get update && apt-get install -y default-jre libc6-i386

2. 把这个脚本上传到GCS存储桶的data目录下，比如gs://<你的Composer存储桶名称>/data/install_jre.sh。
3. 进入Composer环境的设置页面，找到「初始化脚本」选项，添加刚才上传的脚本路径。保存后，Composer会自动在所有Worker节点上运行这个脚本，完成JRE安装。
4. 安装完成后，JRE的默认路径是/usr/lib/jvm/default-java，你可以在Airflow的环境变量里设置JAVA_HOME=/usr/lib/jvm/default-java，这样全局生效，不用在每个任务里重复设置。

如果Adhoc窗口还报/usr/lib/jvm不存在的错误，说明初始化脚本还没执行，你可以手动触发Worker节点重启，或者等待Composer自动更新节点。

三、替代方案 #

如果上述方法对你来说太繁琐，还有这些替代思路：

• 使用数据库专属Hook：如果你的目标数据库是常见类型（比如MySQL、PostgreSQL、BigQuery），直接用Airflow官方提供的对应Hook（比如MySqlHook、PostgresHook），比JDBC更简单且无需额外配置JRE。
• 借助Cloud Functions：把JDBC连接逻辑封装成Cloud Functions，然后在Airflow里用CloudFunctionInvokeOperator调用这个函数，避免在Composer里处理JRE和驱动的问题。
• 使用Cloud Data Fusion：如果是ETL场景，Cloud Data Fusion原生支持JDBC连接，你可以在Data Fusion里创建管道，然后用Airflow的DataFusionPipelineStartOperator触发执行。

内容的提问来源于stack exchange，提问作者Aaron Deutsch