从GCS加载数据至BigQuery时实现去重的最优方案咨询

• 标题：使用井号 # 标识（层级对应1-6个井号）
• 列表项：以短横线 - 开头
• 强调文本：用星号 * 包裹文本
• 代码或命令：用反引号 ` 包裹内容
• 引用文本：使用大于号 > 开头
• 链接：格式为 [显示文本](目标URL)
• 图片：格式为 ![替代文本](图片URL)

内容的提问来源于stack exchange，提问作者Pratap Kumar