Cloud Composer触发Dataflow脚本无法加载GCS中JDBC驱动求助

问题根源 #

Python版apache_beam.io.jdbc.ReadFromJdbc是跨语言实现（依赖Java Beam JDBC连接器），它不支持直接加载GCS/HTTPS路径的JAR文件，只能识别标准Maven坐标。你之前输入的GS路径被错误解析为Maven坐标格式（group:artifact:version），导致拆分成g:artifact:version，触发警告和unknown url type: 'g'错误。

具体解决步骤 #

1. 使用正确的Maven坐标

mysql-connector-j-8.2.0的官方Maven坐标为：

com.mysql:mysql-connector-j:8.2.0

注意：不要使用旧版本的mysql:mysql-connector-java坐标，8.0.33+版本的groupId已改为com.mysql，artifactId改为mysql-connector-j。

2. 配置Dataflow跨语言依赖

必须启用Dataflow Runner V2（跨语言组件的强制要求），并通过PipelineOptions指定Maven坐标：

from apache_beam import Pipeline
from apache_beam.io.jdbc import ReadFromJdbc
from apache_beam.options.pipeline_options import PipelineOptions, StandardOptions
from apache_beam.io.jdbc import JdbcOptions

# 初始化Pipeline选项
pipeline_options = PipelineOptions()
standard_options = pipeline_options.view_as(StandardOptions)
standard_options.runner = "DataflowRunner"
# 启用Runner V2
standard_options.experiments = ["use_runner_v2"]
# 指定JDBC驱动的Maven坐标
pipeline_options.view_as(JdbcOptions).classpath = "com.mysql:mysql-connector-j:8.2.0"

with Pipeline(options=pipeline_options) as p:
    p | "Read from CloudSQL MySQL" >> ReadFromJdbc(
        table_name="your_target_table",
        driver_class_name="com.mysql.cj.jdbc.Driver",  # 8.x版本的正确驱动类名
        jdbc_url="jdbc:mysql://<cloudsql-ip>:3306/<database-name>",
        username="<your-username>",
        password="<your-password>"
    )
    # 后续写入BigQuery的逻辑...

3. 特殊场景：使用自定义JDBC驱动

如果必须使用修改过的非官方驱动JAR：

• 将JAR上传至私有Maven仓库（如Artifact Registry）
• 使用私有仓库的完整Maven坐标（需配置Dataflow workers访问私有仓库的权限）
• 禁止直接通过GCS路径或--files_to_stage传递JAR，跨语言组件无法识别此类路径。

4. 权限与环境检查

• 确保Dataflow服务账号拥有访问Maven中央仓库的权限（默认允许，VPC私网环境需配置Cloud NAT）
• CloudSQL需配置允许Dataflow workers的IP访问（或使用CloudSQL Auth Proxy）

内容的提问来源于stack exchange，提问作者Viknesh S K