GCP Dataform预操作声明变量传递给JS函数报错求助

错误原因 #

你遇到的问题有两个核心原因：

1. 变量名错误：在pre_operations里声明的变量是lastTime，但调用JS函数时用的是lastRunTime，直接导致变量未定义。
2. 执行上下文不互通：pre_operations里的DECLARE是SQL运行时变量，而${functions.isRunCheck(...)}是Dataform编译阶段的JS代码——编译时JS无法访问运行时才会生成的SQL变量，两者不在同一个执行环境。

正确解决方法 #

根据你的需求，有两种可行方案：

方案一：在JS函数中直接查询获取日期（编译时执行） #

把获取lastRunTime的逻辑移到JS函数里，用Dataform内置的dataform.query API在编译阶段查询数据，直接拿到值并处理：

1. 在你的.js文件中修改函数：

function isRunCheck() {
  // 直接查询目标表的最大lastRunTime
  const queryResult = dataform.query(`
    SELECT MAX(DATE(lastRunTime)) 
    FROM \`${dataform.projectId}.${dataform.datasetId}.${dataform.currentAction().name}\`
  `);
  // 提取查询结果中的日期值
  const lastTime = queryResult[0][0];
  
  // 这里编写你的检查逻辑，可返回布尔值或SQL片段
  return lastTime ? `'检查通过'` : `'检查失败'`;
}

2. 在.sqlx文件中调用函数：

${functions.isRunCheck()}

方案二：将JS逻辑转为SQL表达式（运行时执行） #

如果必须保留pre_operations中的变量声明，可以让JS函数返回SQL表达式，在SQL运行时直接使用变量：

1. 在.js文件中修改函数，返回可嵌入SQL的代码：

function isRunCheckSql(timeVar) {
  // 根据传入的SQL变量名生成检查逻辑的SQL代码
  return `
    CASE 
      WHEN ${timeVar} >= CURRENT_DATE() - INTERVAL 7 DAY THEN '近期已运行'
      ELSE '未及时运行'
    END
  `;
}

2. 在.sqlx文件中修正变量名并调用：

pre_operations {
  DECLARE lastTime DEFAULT (SELECT MAX(DATE(lastRunTime)) FROM ${self()});
}

SELECT
  ${functions.isRunCheckSql("lastTime")} AS run_check_result
  -- 其他业务字段
FROM your_target_table

内容的提问来源于stack exchange，提问作者RaptorX