如何在Delta Live Table源中使用Databricks工作流参数？流式表创建遇错

问题原因 #

你用的{{param_year}}这类Mustache模板语法，在CREATE OR REFRESH STREAMING TABLE的SQL语句里不会被正确解析——Databricks的SQL解析器会把这些模板标记当作路径的一部分，而不是替换成你传递的实际参数值，导致源路径无效，触发ExtendedAnalysisException错误。

修正方案 #

方式1：使用SQL变量拼接路径 #

先声明对应参数（如果是作业传递的参数，直接用${参数名}引用即可），再用CONCAT函数拼接成完整路径：

-- 如果是作业传递的参数，可直接用${param_year}，无需DECLARE
DECLARE param_year STRING DEFAULT '2024';
DECLARE param_month STRING DEFAULT '05';
DECLARE param_day STRING DEFAULT '20';
DECLARE param_hour STRING DEFAULT '12';

CREATE OR REFRESH STREAMING TABLE raw_saas_feature_usage_test1
AS
SELECT *
FROM cloud_files(
  CONCAT('/mnt/Devdatalakeg2/Experiments/', param_year, '/', param_month, '/', param_day, '/', param_hour, '/Features/'),
  'csv'
);

方式2：引用笔记本Widget参数 #

如果参数是通过笔记本Widget传递的，直接用dbutils.widgets.get()获取参数值并拼接：

CREATE OR REFRESH STREAMING TABLE raw_saas_feature_usage_test1
AS
SELECT *
FROM cloud_files(
  CONCAT(
    '/mnt/Devdatalakeg2/Experiments/',
    dbutils.widgets.get('year'),
    '/',
    dbutils.widgets.get('month'),
    '/',
    dbutils.widgets.get('day'),
    '/',
    dbutils.widgets.get('hour'),
    '/Features/'
  ),
  'csv'
);

注意事项 #

• 确保传递的参数值格式符合路径要求（比如月份、日期是两位数字），避免路径拼接后无效。
• 流式表的cloud_files源路径必须是Databricks能访问的合法路径，参数替换后要验证路径是否存在。

内容的提问来源于stack exchange，提问作者MUHAMMAD UMER