Google Dataflow Jar打包（FileSystemRegistrar）问题：Linux下GS目录无法识别

我之前也踩过一模一样的坑——本地IntelliJ跑Dataflow Java应用完全正常，打包成Jar丢到Linux上就报错说GS目录识别不了，核心问题就是FileSystemRegistrar的SPI加载机制在Jar打包环境下失效了，或者依赖没有正确打包进去。下面给你几个亲测有效的解决思路：

1. 修复Maven/Gradle打包配置（最关键） #

Dataflow的FileSystem是通过Java SPI（Service Provider Interface）机制加载的，默认情况下用maven-shade或者gradle-shadow插件打包时，会把不同依赖里的META-INF/services文件覆盖掉，导致GCS的FileSystemRegistrar没有被注册。

Maven配置示例（用shade插件） #

确保你的pom.xml里的shade插件配置包含ServicesResourceTransformer，用来合并所有SPI配置文件：

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-shade-plugin</artifactId>
  <version>3.2.4</version>
  <executions>
    <execution>
      <phase>package</phase>
      <goals>
        <goal>shade</goal>
      </goals>
      <configuration>
        <transformers>
          <!-- 合并所有META-INF/services下的SPI配置 -->
          <transformer implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer"/>
          <!-- 指定你的主类 -->
          <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
            <mainClass>com.your.package.YourDataflowMainClass</mainClass>
          </transformer>
        </transformers>
      </configuration>
    </execution>
  </executions>
</plugin>

Gradle配置示例（用shadow插件） #

如果用Gradle，要在shadow插件里配置合并SPI文件：

plugins {
    id 'com.github.johnrengelman.shadow' version '7.1.2'
    id 'java'
}

shadowJar {
    mergeServiceFiles()
    manifest {
        attributes 'Main-Class': 'com.your.package.YourDataflowMainClass'
    }
}

2. 显式注册GCS FileSystem #

如果打包配置没问题还是报错，可以在代码里手动注册GCS的FileSystemRegistrar，绕过SPI加载的问题。在创建Pipeline之前添加这段代码：

import org.apache.beam.sdk.extensions.gcp.storage.GcsFileSystemRegistrar;
import org.apache.beam.sdk.io.FileSystems;

// 初始化PipelineOptions之后调用
FileSystems.setDefaultPipelineOptions(yourPipelineOptions);
FileSystems.registerFileSystem(new GcsFileSystemRegistrar());

3. 检查依赖版本对齐 #

确保Dataflow SDK和GCP相关依赖的版本完全匹配，版本冲突也会导致FileSystem加载失败。比如如果你用的是Dataflow 2.40.0，那么beam-sdks-java-io-google-cloud-platform、google-cloud-storage这些依赖的版本也要对应，最好直接用Dataflow BOM来管理版本：

<dependencyManagement>
  <dependencies>
    <dependency>
      <groupId>com.google.cloud.dataflow</groupId>
      <artifactId>google-cloud-dataflow-java-sdk-all</artifactId>
      <version>2.40.0</version>
      <type>pom</type>
      <scope>import</scope>
    </dependency>
  </dependencies>
</dependencyManagement>

4. 验证Linux环境的GCP认证 #

虽然本地跑正常，但Linux环境可能没有正确配置GCP认证，导致无法访问GS存储桶。可以通过以下方式确认：

• 设置服务账号密钥环境变量：

  export GOOGLE_APPLICATION_CREDENTIALS="/path/to/your/service-account-key.json"
  

• 或者用gcloud命令获取默认认证：

  gcloud auth application-default login
  

先从打包配置入手，这是最常见的原因，我当时就是因为没加ServicesResourceTransformer导致SPI文件被覆盖，加上之后就正常了。

内容的提问来源于stack exchange，提问作者OGCheeze