如何在Google Cloud Data Fusion中合并两个同结构数据集?
在Google Cloud Data Fusion中合并同结构数据集的正确方法
你之前用Join组件找错方向了——Join是用来做数据集的列关联(类似SQL里的JOIN操作),而你要的是把两个同结构数据集的行上下拼接合并,这得用Union组件,步骤如下:
- 从左侧组件面板里找到
Union组件,拖到流水线画布上 - 把两个数据源的输出分别连到Union组件的两个输入端口(Union支持多个输入源)
- 配置Union组件:因为两个数据集结构完全一致,直接用默认配置就行,组件会自动匹配同名字段
- 把Union组件的输出连接到你的目标表(比如BigQuery表、Cloud Storage存储等),就能完成合并写入
额外注意:
- 如果两个数据集列名有大小写差异或细微不一致,可以在Union的配置界面手动映射对齐列
- 要是需要合并后去重,可以在Union之后加一个
Deduplicate组件,或者根据组件选项选择去重的合并逻辑(类似SQL的UNION,而非UNION ALL)
内容的提问来源于stack exchange,提问作者Juno
相关产品推荐
相关产品推荐

