Apache Beam Java 2.26.0版本升级后BigQueryIO流插入报'No rows present in the request'错误排查求助

先来说说你关注的--HTTPWriteTimeout=0参数怎么配置，分两种常见场景：

1. 通过代码配置（推荐，更可控） #

在Java SDK中，你可以直接在BigQueryIO.Write的配置链中添加withHttpWriteTimeout方法来设置超时，传入Duration.ZERO就能恢复到2.25.0的旧行为。示例代码如下：

import org.joda.time.Duration;

// ... 你的管道逻辑 ...
inputPCollection.apply(
    BigQueryIO.writeTableRows()
        .to("your-project:your-dataset.your-table")
        .withWriteDisposition(BigQueryIO.Write.WriteDisposition.WRITE_APPEND)
        .withCreateDisposition(BigQueryIO.Write.CreateDisposition.CREATE_IF_NEEDED)
        .withHttpWriteTimeout(Duration.ZERO) // 禁用超时，恢复旧行为
);

2. 通过命令行参数传递（适用于用Dataflow Runner启动的场景） #

如果你是通过maven exec或者直接运行jar包的方式启动Dataflow作业，直接在命令行参数里加上--HTTPWriteTimeout=0即可，比如：

mvn compile exec:java \
  -Dexec.mainClass="com.your.company.YourPipelineClass" \
  -Dexec.args="--project=your-gcp-project \
               --runner=DataflowRunner \
               --region=us-central1 \
               --stagingLocation=gs://your-bucket/staging \
               --HTTPWriteTimeout=0"

其他可能的排查方向 #

既然你已经排除了DATETIME类型映射的问题，再给你几个可以尝试的排查点：

检查是否有空TableRow被输出 #

虽然你确认PCollection包含正确数据，但可以在写入BigQuery之前加一个过滤步骤，确保没有空的或null的TableRow被发送：

PCollection<TableRow> filteredRows = inputRows.apply(
    Filter.by(row -> row != null && !row.isEmpty())
);
// 用filteredRows去写入BigQuery

这可以排除某些异常场景下生成空行的可能。

检查窗口和触发策略 #

Beam 2.26.0可能对流处理的触发逻辑做了微调，比如默认的触发是否会在没有数据的情况下触发空批次？可以检查你的窗口配置，确保只有当窗口内有数据时才触发写入。比如显式设置触发策略：

import org.apache.beam.sdk.transforms.windowing.AfterWatermark;
import org.apache.beam.sdk.transforms.windowing.FixedWindows;
import org.apache.beam.sdk.transforms.windowing.Window;

inputPCollection.apply(
    Window.into(FixedWindows.of(Duration.standardMinutes(1)))
        .triggering(AfterWatermark.pastEndOfWindow())
        .withAllowedLateness(Duration.ZERO)
        .discardingFiredPanes()
)
.apply(BigQueryIO.writeTableRows()...);

检查BigQueryIO的批处理配置 #

2.26.0可能调整了默认的批处理大小（比如单批次的行数或字节数），如果默认值变小，可能会导致某些极小的批次被BigQuery判定为“无数据”。你可以尝试手动增大批次配置：

BigQueryIO.writeTableRows()
    // ... 其他配置 ...
    .withBatchSizeRows(1000) // 调整单批次行数
    .withBatchSizeBytes(10 * 1024 * 1024); // 调整单批次字节数（10MB）

查看更详细的日志 #

如果是在Dataflow上运行，去作业的日志页面搜索BigQuery相关的日志条目，特别是BigQueryIO.Write相关的日志，看看有没有更详细的上下文信息——比如哪些请求被判定为空，是否有前置的警告或错误提示。

检查Schema的隐式变化 #

除了DATETIME类型，Beam 2.26.0对其他BigQuery类型的映射有没有变化？比如TIMESTAMP、DATE等类型的处理是否和之前不同？可以对比Beam 2.25.0和2.26.0的BigQueryIO文档，确认Schema映射的其他潜在变化。

内容的提问来源于stack exchange，提问作者LaurensVijnck