升级Apache Beam至2.44.0遇BigQueryWriteClient类找不到异常求助

可能的原因及修复步骤 #

1. 确认依赖版本与Beam兼容 #

Apache Beam 2.44.0对BigQuery相关依赖有版本约束，不建议手动指定bigquery-storage-api版本，优先使用Beam提供的统一依赖管理：

• Maven项目直接引入完整的GCP IO模块，会自动拉取兼容的依赖：

<dependency>
    <groupId>org.apache.beam</groupId>
    <artifactId>beam-sdks-java-io-google-cloud-platform</artifactId>
    <version>2.44.0</version>
</dependency>

• 若单独引入google-cloud-bigquery-storage，不要手动写版本号，让Beam的依赖管理自动匹配兼容版本：

<dependency>
    <groupId>com.google.cloud</groupId>
    <artifactId>google-cloud-bigquery-storage</artifactId>
</dependency>

2. 排查并解决依赖冲突 #

项目中可能存在旧版本的BigQuery依赖，导致类加载冲突：

• 用Maven命令查看依赖树，定位冲突的依赖：

mvn dependency:tree -Dverbose -Dincludes=com.google.cloud:google-cloud-bigquery-storage

• 找到冲突的旧版本后，在对应依赖中排除旧包，或者在dependencyManagement节点统一指定兼容版本：

<dependency>
    <groupId>你的冲突依赖groupId</groupId>
    <artifactId>你的冲突依赖artifactId</artifactId>
    <exclusions>
        <exclusion>
            <groupId>com.google.cloud</groupId>
            <artifactId>google-cloud-bigquery-storage</artifactId>
        </exclusion>
    </exclusions>
</dependency>

3. 确保打包时包含完整依赖 #

如果构建可执行JAR，需检查打包插件配置，避免遗漏类文件：

• 使用maven-shade-plugin时，必须添加ServicesResourceTransformer，否则会丢失服务类注册信息：

<plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-shade-plugin</artifactId>
    <version>3.4.1</version>
    <executions>
        <execution>
            <phase>package</phase>
            <goals>
                <goal>shade</goal>
            </goals>
            <configuration>
                <transformers>
                    <transformer implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer"/>
                    <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                        <mainClass>你的主类全路径</mainClass>
                    </transformer>
                </transformers>
            </configuration>
        </execution>
    </executions>
</plugin>

4. 避免拆分引入GCP IO模块 #

不要只引入Beam的部分GCP IO子模块，完整引入beam-sdks-java-io-google-cloud-platform能确保所有传递依赖都被正确引入，避免遗漏BigQueryWriteClient相关的底层依赖。

内容的提问来源于stack exchange，提问作者Devendra Bhandari