Google Cloud Dataproc Serverless Spark任务连接MySQL元数据存储报错求助

针对你遇到的No suitable driver found错误，以下是几个可行的解决方向：

1. 显式提供MySQL驱动Jar包 #

Dataproc Serverless环境不会自动包含第三方JDBC驱动，即使pom.xml中已引入依赖，也需要在提交批处理任务时明确指定驱动位置：

• 将MySQL Connector/J Jar包上传至GCS存储桶，例如gs://your-bucket/mysql-connector-java-8.0.30.jar
• 提交任务时添加参数：--jars gs://your-bucket/mysql-connector-java-8.0.30.jar

2. 适配MySQL驱动类名 #

若使用MySQL Connector/J 8.0+版本，旧驱动类com.mysql.jdbc.Driver已被废弃，需替换为新版本类名：

spark.hadoop.javax.jdo.option.ConnectionDriverName=com.mysql.cj.jdbc.Driver

同时建议在JDBC URL中补充时区参数，避免连接报错：

spark.hadoop.javax.jdo.option.ConnectionURL=jdbc:mysql://metastore.example.com/metastore?useSSL=false&serverTimezone=UTC

3. 构建包含依赖的Uber Jar #

如果通过Maven打包应用，需确保构建出包含所有依赖的胖包，避免依赖缺失：

• 在pom.xml中添加maven-shade-plugin配置：

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-shade-plugin</artifactId>
  <version>3.2.4</version>
  <executions>
    <execution>
      <phase>package</phase>
      <goals>
        <goal>shade</goal>
      </goals>
      <configuration>
        <filters>
          <filter>
            <artifact>*:*</artifact>
            <excludes>
              <exclude>META-INF/*.SF</exclude>
              <exclude>META-INF/*.DSA</exclude>
              <exclude>META-INF/*.RSA</exclude>
            </excludes>
          </filter>
        </filters>
      </configuration>
    </execution>
  </executions>
</plugin>

• 执行mvn clean package构建胖包后再提交任务

4. 完整配置Spark连接参数 #

确保所有Hive元数据连接参数通过Spark属性完整传递，示例提交命令：

gcloud dataproc batches submit spark \
  --project=your-project-id \
  --region=your-region \
  --jars gs://your-bucket/mysql-connector-java-8.0.30.jar \
  --properties spark.hadoop.javax.jdo.option.ConnectionURL=jdbc:mysql://metastore.example.com/metastore?useSSL=false&serverTimezone=UTC,spark.hadoop.javax.jdo.option.ConnectionUserName=test123,spark.hadoop.javax.jdo.option.ConnectionPassword=your-password,spark.hadoop.javax.jdo.option.ConnectionDriverName=com.mysql.cj.jdbc.Driver \
  --class=your.main.class \
  gs://your-bucket/your-application.jar

内容的提问来源于stack exchange，提问作者Piyush Shrivastava