在Dataform中能否使用Promise实现调用BigQuery API的异步逻辑？

核心结论：Dataform的编译阶段不支持直接在.sqlx或常规.js模型文件中使用异步逻辑，因为编译流程是同步执行的，异步操作的结果无法被及时捕获。以下是针对你遇到的问题的分析和解决办法：

问题分析 #

方案1（.sqlx中用Promise）的问题 #

在.sqlx模板中直接使用${output().then(res => res)}时，模板插值会立即把Promise对象转为字符串[object Promise]，而不会等待Promise resolve得到实际的SQL内容，导致BigQuery执行时出现语法错误。

方案2（.js文件中用Promise）的问题 #

publish方法需要在Dataform编译阶段同步注册到上下文，但你的异步回调里调用publish时，编译流程已经完成，所以生成的表不会被加入到编译列表中。

正确实现方式 #

通过预编译脚本先完成异步API调用，生成对应的.sqlx文件，再让Dataform编译执行。具体步骤如下：

1. 编写预编译脚本 #

创建一个独立的Node.js脚本（比如generate_dedup_query.js），在其中完成异步API调用并生成Dataform模型文件：

const { BigQuery } = require('@google-cloud/bigquery');
const fs = require('fs/promises');

async function generateDedupModel() {
    // 初始化BigQuery客户端
    const bigquery = new BigQuery();

    // 调用API获取目标表的列列表（示例逻辑，根据你的需求调整）
    const [table] = await bigquery.dataset("your_dataset").table("source_table").get();
    const columnList = table.schema.fields.map(field => field.name).join(", ");

    // 生成Dataform模型的.sqlx内容
    const modelContent = `config {
    type: "table",
    disabled: false,
    hasOutput: true,
    description: "This table contains sales orders",
    tags: ["dedup_test"]
}

SELECT ${columnList}
FROM \`your_project.your_dataset.source_table\`
-- 在这里添加你的去重逻辑
`;

    // 将内容写入Dataform的models目录
    await fs.writeFile("./models/dedup_test.sqlx", modelContent);
}

// 执行脚本并处理错误
generateDedupModel().catch(err => {
    console.error("生成模型失败:", err);
    process.exit(1);
});

2. 整合到Dataform执行流程 #

• 在package.json中添加脚本，让预编译脚本在Dataform命令前执行：

{
    "scripts": {
        "pre-run": "node generate_dedup_query.js",
        "run": "dataform run"
    }
}

• 运行npm run run，会先执行预编译脚本生成模型文件，再执行Dataform的运行命令。

或者，你也可以在dataform.json中配置preCompileScript字段，指定这个脚本路径，这样每次执行dataform compile或dataform run时都会自动先执行预编译脚本。

内容的提问来源于stack exchange，提问作者vl4py