Dataflow流式传数据到BigQuery时JSON序列化表行失败如何修复

错误原因 #

官方Pub/Sub to BigQuery Dataflow模板默认期望UDF返回单个序列化后的JSON对象（对应单条BigQuery表行），你当前的代码返回的是序列化后的JSON数组，模板无法直接将数组解析为多行数据，因此抛出"Failed to serialize json to table row"错误。

修复方法 #

方法一：使用原生模板的多输出支持（推荐，无需额外资源） #

新版官方Pub/Sub to BigQuery模板已经支持单输入输出多行，只需做两处修改：

1. 修改UDF代码，直接返回JavaScript数组对象，不需要手动做JSON序列化，同时增加异常捕获避免坏消息导致任务失败：

function transformToTableRows(inJson) {
  try {
    const input = JSON.parse(inJson);
    const output = [];
    for (const elem in input) {
      // 增加字段存在性校验，避免空值报错
      if (input[elem]?.k1 !== undefined && input[elem]?.k2 !== undefined) {
        output.push({"k1": input[elem].k1, "k2": input[elem].k2})
      }
    }
    return output;
  } catch (e) {
    // 坏消息返回空数组，不会写入任何行，也可以根据需求做死信队列处理
    return [];
  }
}

2. 启动Dataflow模板时，新增参数配置：

• 设置udfOutputIsArray为true，告知模板UDF返回的是多行数组
• 确认useStorageWriteApi参数为true（流式写入默认开启，是多输出的依赖条件）

方法二：通过Cloud Function做消息拆分（适配旧版模板） #

如果使用的是不支持多输出的旧版模板，可以加一步消息拆分：

• 创建Cloud Function订阅原始Pub/Sub主题，运行你的转换逻辑，将输出数组的每一项作为单独消息发布到新的Pub/Sub主题
• 使用原生Pub/Sub to BigQuery模板订阅新主题，UDF只需直接返回单条消息的JSON字符串即可，无需处理数组

方法三：自定义Dataflow流水线 #

如果需要更灵活的扩展逻辑，可以自己编写Apache Beam流水线，用FlatMap算子拆分UDF返回的数组后再写入BigQuery，能适配更复杂的转换需求。

内容的提问来源于stack exchange，提问作者Jos