如何在YAML文件中定义带昨日日期的动态S3数据源路径

YAML本身是纯静态的配置格式，不内置动态变量解析、日期计算能力，动态路径的渲染逻辑需要由加载该YAML的上层工具/代码实现，常见的实现方案如下：

• 方案1：直接使用上层工具的内置插值能力
  如果你用的是Airflow、DataX等数据调度、同步类工具，这类工具基本都内置了日期变量占位符支持，直接按照工具约定的格式写占位符即可。比如Airflow中可以直接写：

data_source: s3://bucket/file-{{ yesterday_ds }}.csv

不同工具的占位符格式有差异，部分工具用${yesterday}、%Y-%m-%d类的日期格式占位符，对应调整写法即可。

• 方案2：业务代码读取配置后做变量替换
  如果是自研业务代码加载配置，可以先在YAML中预留约定的占位符，代码读取配置后完成替换即可。
  首先配置文件中写预留占位符的内容：

data_source: s3://bucket/file-{yesterday}.csv

之后在代码中处理，Python示例如下：

import yaml
from datetime import datetime, timedelta

# 计算昨日日期
yesterday = (datetime.now() - timedelta(days=1)).strftime("%Y-%m-%d")
# 加载YAML配置
with open("config.yml", "r", encoding="utf-8") as f:
    config = yaml.safe_load(f)
# 替换路径中的占位符
config["data_source"] = config["data_source"].format(yesterday=yesterday)

• 方案3：启动任务前用脚本生成最终配置
  如果不想修改业务逻辑，可以在任务启动前执行预处理脚本，根据模板动态生成最终的YAML配置。Shell示例如下：
  首先准备配置模板config_template.yml，内容为：

data_source: s3://bucket/file-{yesterday}.csv

然后执行shell命令生成最终配置：

yesterday=$(date -d "yesterday" +%Y-%m-%d)
sed "s/{yesterday}/$yesterday/g" config_template.yml > config.yml

任务直接加载生成的config.yml即可。

内容的提问来源于stack exchange，提问作者Dan Pham