能否为build而非dataset设置定时计划，每日生成带日期后缀的新dataset

可以直接为整个build流程设置定时计划实现每日自动生成带日期后缀的新数据集，不需要对单个dataset单独配置定时规则，具体实现方式如下：

• 首先配置build的定时触发规则，将触发周期设置为每日固定时间，推荐选业务低峰期执行避免资源冲突
• 然后在build的执行脚本中加入动态生成数据集名称的逻辑，根据你使用的脚本环境选择对应实现：
  • Shell环境：直接调用date命令拼接名称，示例代码：

    # 生成带当日日期的数据集名称
    export DATASET_NAME="dataset_output_$(date +%Y-%m-%d)"
    # 后续输出数据集时直接调用$DATASET_NAME变量即可
    

  • Python环境：使用datetime模块生成日期后缀，示例代码：

    from datetime import datetime
    # 生成带当日日期的数据集名称
    dataset_name = f"dataset_output_{datetime.now().strftime('%Y-%m-%d')}"
    

• 最后将build流程的数据集输出逻辑关联上面生成的动态名称变量即可，每次触发build都会自动生成对应日期的独立数据集，不会覆盖历史版本。

补充说明：如果存在单日多次触发build的场景，担心重名覆盖，可以在日期后缀后额外追加构建ID、秒级时间戳这类唯一标识，格式示例：dataset_output_2021-11-27_1637980800

内容的提问来源于stack exchange，提问作者Will Guiracoche