Google Cloud Dataflow：通过命令行指定TempLocation遇语法错误求助

我之前也碰到过类似的问题，大概率是命令行参数的格式、传递方式或者配置细节出了问题，咱们一步步来排查：

1. 先确认参数名和路径格式是否正确 #

Dataflow指定临时存储的参数是--tempLocation（注意首字母大写的L，别写成--temp-location这种小写分隔的形式），而且GCS路径必须是gs://开头的完整路径，比如：

--tempLocation gs://your-bucket-name/temp-dir/

很容易踩的坑就是漏写gs://前缀，或者参数名拼写错，这都会直接触发语法错误。

2. 检查参数传递的位置（Maven运行场景） #

如果是用Maven启动流水线，一定要注意：Dataflow的参数是要传给程序本身的，不是传给Maven的。正确的写法是把参数放在-Dexec.args里，比如：

mvn exec:java -Dexec.mainClass=com.your.package.YourPipelineMain \
    -Dexec.args="--runner=DataflowRunner \
                 --project=your-gcp-project-id \
                 --tempLocation=gs://your-bucket/temp-folder/ \
                 --region=us-central1"

要是把参数直接放在Maven命令后面，没塞进-Dexec.args里，Maven会把它当成自己的参数，自然会报错。

3. 核对Pom.xml的依赖和插件配置 #

你已经更新了Pom，那再确认下几个关键点：

• Dataflow Runner的依赖版本要和你用的Beam SDK版本匹配，比如Beam 2.40+的话，依赖应该是：

<dependency>
    <groupId>org.apache.beam</groupId>
    <artifactId>beam-runners-google-cloud-dataflow-java</artifactId>
    <version>2.40.0</version>
    <scope>runtime</scope>
</dependency>

• exec-maven-plugin的配置要正确，确保能传递参数给主类：

<plugin>
    <groupId>org.codehaus.mojo</groupId>
    <artifactId>exec-maven-plugin</artifactId>
    <version>3.1.0</version>
    <executions>
        <execution>
            <goals>
                <goal>java</goal>
            </goals>
        </execution>
    </executions>
    <configuration>
        <mainClass>com.your.package.YourPipelineMain</mainClass>
    </configuration>
</plugin>

4. 从堆栈跟踪里抓关键错误信息 #

你补充了完整堆栈跟踪，那重点看里面的具体提示：比如是不是提示Invalid argument: --tempLocation（说明参数名不对），还是IllegalArgumentException: Temp location must be a valid GCS path（路径格式或权限问题）。这些细节能直接帮你定位问题。

5. 用Direct Runner做简化测试 #

先简化命令，用Direct Runner排除Dataflow服务端的干扰，只保留必要参数：

mvn exec:java -Dexec.mainClass=com.your.package.YourPipelineMain \
    -Dexec.args="--runner=DirectRunner \
                 --tempLocation=gs://your-bucket/temp-folder/"

如果这样还是报错，那就要检查代码里的参数解析逻辑了：比如你的PipelineOptions实现类是不是正确添加了@Option注解？示例如下：

public interface YourPipelineOptions extends PipelineOptions {
    @Option(
        name = "tempLocation",
        description = "GCS path for temporary pipeline files"
    )
    String getTempLocation();
    void setTempLocation(String value);
}

要是代码里的参数名和命令行的不匹配，也会导致语法错误。

如果以上步骤都试过还是解决不了，建议把你实际运行的完整命令、堆栈跟踪里的核心错误片段贴出来，这样更容易精准定位问题。

内容的提问来源于stack exchange，提问作者HendPro12