如何自动化Druid批量摄入任务，实现每日自动处理S3桶内新增文件

完全可以实现自动化每日增量摄入，无需每日手动执行摄入操作。

根据你使用的Druid版本及集群现有工具链，可选择以下任意一种方案落地：

• 方案1：通用定时调度调用API（适配所有Druid版本）
  你的现有批次摄入spec无需大量修改，仅需调整inputSource配置块，增加过滤规则仅匹配每日新增的S3文件：比如按日期命名的前缀/后缀过滤，或者按文件更新时间过滤。
  调度工具可直接复用EMR集群自带的Airflow、Oozie，或Linux原生crontab，每日定时调用Druid摄入提交API即可：
  POST http://<你的Druid Overlord节点地址>/druid/indexer/v1/task
  请求体传入替换好当日文件路径的摄入spec即可完成自动提交。
• 方案2：Druid原生定时摄入（适配0.23及以上版本）
  直接在现有批次摄入spec中新增scheduler配置块，填入每日执行的cron表达式，Druid会自动按周期提交摄入任务。配合spec内置的变量替换功能，可以自动匹配对应日期的S3文件路径，无需每次手动修改spec参数。

• 需做好幂等配置避免重复摄入：可给数据设置唯一主键开启Druid幂等写入，也可在调度逻辑中新增已处理文件标记逻辑，避免重复提交已处理过的S3文件
• 建议给摄入任务配置超时规则和失败告警，方便及时排查每日任务异常
• 若你之前仅适配过GCS存储，需提前确认Druid的S3扩展已启用，EMR部署的Druid默认已集成S3相关依赖，仅需配置好S3桶的访问密钥权限即可正常使用。

内容的提问来源于stack exchange，提问作者Chandan Kumar