升级Apache Beam至2.19后访问BigQuery触发IllegalAccessError求助

这个问题的核心是依赖版本冲突，具体是OpenCensus与gRPC的版本不兼容导致的，下面是具体的原因分析和解决方案：

问题根源 #

Beam 2.19版本对BigQuery Storage API的依赖进行了升级，默认启用了该API来读取BigQuery数据（替代了旧的DIRECT_READ方式）。这次升级连带更新了gRPC和OpenCensus的版本，但如果你的项目中存在旧版本的OpenCensus依赖，就会触发IllegalAccessError——新版本的OpenCensus修改了io.opencensus.trace.unsafe.ContextUtils.CONTEXT_SPAN_KEY字段的访问权限，而旧版本的gRPC代码仍试图直接访问这个字段，导致权限被拒绝。

解决方案 #

1. 统一OpenCensus与gRPC的依赖版本 #

Beam 2.19使用的OpenCensus版本为0.24.0左右，gRPC版本为1.26.0左右。你需要确保项目中所有相关依赖的版本与Beam保持一致：

• Gradle用户：在build.gradle中添加版本锁定策略

  configurations.all {
      resolutionStrategy {
          force "io.opencensus:opencensus-api:0.24.0"
          force "io.opencensus:opencensus-impl:0.24.0"
          force "io.grpc:grpc-core:1.26.0"
          force "io.grpc:grpc-netty-shaded:1.26.0"
      }
  }
  

• Maven用户：在pom.xml的dependencyManagement中锁定版本

  <dependencyManagement>
      <dependencies>
          <dependency>
              <groupId>io.opencensus</groupId>
              <artifactId>opencensus-api</artifactId>
              <version>0.24.0</version>
          </dependency>
          <dependency>
              <groupId>io.opencensus</groupId>
              <artifactId>opencensus-impl</artifactId>
              <version>0.24.0</version>
          </dependency>
          <dependency>
              <groupId>io.grpc</groupId>
              <artifactId>grpc-core</artifactId>
              <version>1.26.0</version>
          </dependency>
      </dependencies>
  </dependencyManagement>
  

2. 临时切换回BigQuery传统读取方式 #

如果暂时无法调整依赖版本，可以强制Beam使用旧的DIRECT_READ方式读取BigQuery数据，绕过Storage API的依赖问题：

// Kotlin示例，在你的LeadsEnricher代码中修改读取逻辑
BigQueryIO.readTableRows()
    .from("<your-input-table>")
    .withMethod(BigQueryIO.TypedRead.Method.DIRECT_READ)

或者在运行时添加参数：

--bigquery-read-method=DIRECT_READ

3. 清理依赖缓存 #

清理本地依赖缓存，避免旧版本依赖残留导致的冲突：

• Gradle：执行./gradlew clean build --refresh-dependencies
• Maven：执行mvn clean install -U

额外说明 #

Beam 2.19及以后版本默认使用BigQuery Storage API是为了提升读取性能，但该API对依赖版本的兼容性要求更严格。完成依赖版本统一后，建议恢复使用默认的Storage API方式以获得更好的性能。

内容的提问来源于stack exchange，提问作者IlTera