如何使用BigQuery Data Transfer Service传输S3中10分钟内修改的文件

BigQuery S3 Data Transfer Service 10分钟文件年龄阈值修改方案 #

这个10分钟的过滤阈值对应的是S3传输配置中的minimum_object_age参数，控制台当前未暴露该配置项，只能通过CLI、API或SDK的方式手动配置：

• 通过gcloud CLI修改/创建任务：执行创建或更新S3传输任务的命令时，在--params参数中追加minimum_object_age配置，值为你需要的最小文件年龄，比如要取消10分钟限制直接传新文件，就设置为0s，示例参数格式如下：

  --params="data_path=s3://your-bucket/path/*,destination_table_name_template=your_table,minimum_object_age=0s"
  

• 通过Java SDK配置：官方默认的Java SDK示例中没有显式列出该参数，你需要手动往传输任务的params映射中添加键为minimum_object_age、值为时长字符串的键值对，比如设置为"0s"即可生效。

注意：调小该阈值甚至设置为0会提升数据不完整或丢失的风险，S3的写入为最终一致性模型，文件上传后需要一定时间完成全局同步，提前触发传输可能会拉取到不完整的文件，该风险需要自行评估承担。

内容的提问来源于stack exchange，提问作者Jianying Chiang