如何在Druid ingestion spec中排除特定扩展名的摄入文件

你可以直接在S3输入源配置中新增正则过滤规则，仅匹配.parquet后缀的文件即可，无需修改原有前缀配置、也不用手动枚举所有目标文件。

调整后的完整ioConfig配置 #

"ioConfig": {
    "type": "index_parallel",
    "inputSource": {
      "type": "s3",
      "uris": null,
      "prefixes": [
        "s3://temp/sample/"
      ],
      "objects": null,
      "filter": {
        "type": "regex",
        "pattern": ".*\\.parquet$"
      }
    }
}

规则说明 #

• filter是Druid输入源原生支持的过滤配置项，选择regex类型即可通过正则匹配过滤文件
• 示例中的.*\.parquet$正则会匹配所有路径以.parquet结尾的文件，自动排除file_4.random这类其他后缀的文件
• 如果你使用的是不支持filter配置的旧版本Druid，只能通过uris参数手动枚举所有需要摄入的.parquet文件路径来实现筛选。

内容的提问来源于stack exchange，提问作者Amal Rajan