如何基于模式动态替换ETL中的参数化文件名？

一、核心设计原则 #

采用配置驱动+多类型处理器的架构，既满足日期偏移、字符串替换、正则匹配的需求，又能灵活扩展新的替换类型。核心是定义一套简洁的参数化标记规则，并为每种替换类型实现独立的处理逻辑。

二、参数化文件名规则定义 #

摒弃复杂的嵌套标记，采用占位符+配置参数的组合方式，兼顾简洁性和灵活性：

• 日期类型：直接用日期格式串作为占位符（如{yyyy-MM-dd}），偏移量通过额外配置指定；也可显式标记类型：{date:yyyy-MM-dd, offset:0}
• 替换/正则类型：用{replace:old_str, new_str}或{regex:pattern, replacement}作为占位符，或通过独立配置项指定全局替换规则

三、分类型实现逻辑 #

1. 日期（date）类型替换 #

适用场景：文件名包含需按基准日期偏移的日期字段

• 核心逻辑：以指定基准日期（如2023-02-23）为基础，加上偏移天数后，按占位符中的日期格式生成字符串，替换占位符
• 关键参数：
  • offset：整数，正表示向后偏移，负表示向前偏移（单位：天）
  • date_format：日期格式化串（如yyyy-MM-dd、MMMM对应英文月份全称）
• 示例：
  参数化文件名Data_{MMMM}.json，offset=-24：基准日期2023-02-23减24天为2023-01-30，格式化后得到January，最终文件名Data_January.json

2. 字符串替换（replace）类型 #

适用场景：对文件名中的固定字符串进行全局替换

• 核心逻辑：遍历文件名，将所有匹配到的字符串替换为目标字符串
• 关键参数：
  • match_str：需要被替换的字符串
  • replace_str：替换后的目标字符串
• 示例：
  参数化文件名Data_{yyyy-MM-dd}.json，match_str="_"，replace_str="-"：全局替换后得到对应格式的目标文件名

3. 正则替换（regex）类型 #

适用场景：处理复杂的字符串模式匹配（如重复字段、不规则格式）

• 核心逻辑：使用正则表达式匹配文件名中的目标模式，按指定规则替换
• 关键参数：
  • pattern：正则匹配模式
  • replacement：替换模板（支持捕获组引用，如$1）
• 示例：
  参数化文件名Data Data File Name Name.json，pattern="([a-zA-Z]+) \1"，replacement="$1"：匹配重复单词并去重，最终得到Data File Name.json

四、可扩展架构实现 #

1. 抽象处理器接口：定义统一的FileReplaceProcessor接口，包含process(raw_filename: str, config: dict) -> str方法，每种替换类型实现该接口
2. 配置管理：用JSON/YAML配置文件存储替换规则，示例配置如下：

rules:
  - param_filename: "Data_{yyyy-MM-dd}.json"
    target_template: "Data_{date}.json"
    type: "date"
    config:
      base_date: "2023-02-23"
      offset: 0
      date_format: "yyyy-MM-dd"
  - param_filename: "Data Data File Name Name.json"
    target_template: "{regex_result}.json"
    type: "regex"
    config:
      pattern: "([a-zA-Z]+) \\1"
      replacement: "$1"

3. 规则匹配与执行：根据参数化文件名匹配对应规则，调用对应处理器执行替换，支持规则优先级配置（如正则替换优先于字符串替换）

五、表格案例验证 #

内容的提问来源于stack exchange，提问作者user2197446