MongoDB转BigQuery批处理Dataflow模板UDF不生效问题求助

针对你遇到的UDF未执行但数据同步成功的问题，可按以下步骤排查：

1. 确认UDF参数配置准确性 #

• 必须将UDF代码上传至Google Cloud Storage (GCS)，并在控制台的Javascript UDF path参数中填写完整的GCS路径（如gs://your-bucket/udf/transform.js），模板无法读取本地文件。
• 确保Javascript UDF name参数与你的函数名完全一致（此处应为process，大小写敏感），参数不匹配会导致UDF无法被调用。

2. 检查UDF文件权限与格式 #

• 给Dataflow默认服务账号（[项目编号]@cloudservices.gserviceaccount.com）添加GCS存储对象查看者权限，确保模板能读取UDF文件。
• UDF文件需为纯.js格式，移除代码中的<pre><code>等HTML标签，仅保留函数代码本身。

3. 验证UDF是否被触发 #

在UDF中添加日志输出，确认函数是否被执行：

function process(inJson) {
  console.log("UDF执行，输入数据：", inJson);
  const obj = JSON.parse(inJson);
  obj.udftest = "udftest";
  return JSON.stringify(obj);
}

运行任务后，在Dataflow任务日志中搜索UDF执行，若无结果，说明UDF未被调用，需重新检查参数配置。

4. 检查BigQuery表Schema兼容性 #

• 若BigQuery目标表无udftest字段，可手动添加STRING类型的udftest字段，或设置Write Disposition为WRITE_TRUNCATE，让模板重新创建表并应用UDF生成的Schema。
• 避免因Schema推断失败导致UDF新增字段被忽略。

5. 确认模板版本与运行环境 #

• 使用最新版本的MongoDB to BigQuery批处理模板，旧版本可能存在UDF执行的隐性bug。
• 确保Dataflow运行区域与GCS存储桶、MongoDB集群、BigQuery表的区域一致，跨区域可能引发未预期的问题。

内容的提问来源于stack exchange，提问作者Dchemist_Rae