如何通过DataPrep将GCS路径的{month}数据集参数添加至BigQuery表

我之前处理过类似的场景，要让BigQuery表能通过{month}参数筛选数据，关键是要把DataPrep的数据集参数转化为数据中的一列，这样输出到BQ后就能直接用该列筛选了。具体步骤如下：

1. 确认参数化数据集的配置 #

首先确保你创建的参数化数据集已经正确关联GCS路径中的{month}变量——你已经完成这一步，但可以再检查下参数的取值范围和路径匹配是否准确，保证DataPrep能识别每个文件对应的月份参数值。

2. 在DataPrep中添加参数衍生列 #

这是核心步骤，把参数值嵌入到每一行数据中：

• 进入你的DataPrep清洗流程界面，点击添加步骤，选择衍生列。
• 在公式编辑器中，使用DataPrep的参数引用语法${month}（注意参数名要和你创建数据集时的参数名完全一致），然后给新列起一个清晰的名字，比如month或者data_month。
• 保存这个步骤，此时预览数据就能看到新列已经自动填充了对应文件的月份参数值。

3. 验证数据正确性 #

在DataPrep的预览面板中，随机查看不同文件来源的行，确认新添加的month列值和文件对应的月份匹配（比如来自//source/user/me/datasets/01/2017-01-31-file.csv的行，month列应该是01）。

4. 重新导出到BigQuery #

运行你的导出流程，将处理后的数据输出到BigQuery表。此时BQ表中会包含新增的month列，你可以直接用WHERE month = '01'这类SQL语句来筛选对应月份的数据了。

额外注意事项 #

• 如果你的{month}参数是数字格式（比如1、2），可以在衍生列步骤中调整列类型为整数，方便后续BQ中的数值筛选。
• 若批量处理多个月份的文件，DataPrep会自动为每个文件对应的参数值填充到衍生列，无需单独处理每个文件。

内容的提问来源于stack exchange，提问作者WJA