You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

如何在Google Cloud Data Fusion中合并两个同结构数据集?

在Google Cloud Data Fusion中合并同结构数据集的正确方法

你之前用Join组件找错方向了——Join是用来做数据集的列关联(类似SQL里的JOIN操作),而你要的是把两个同结构数据集的行上下拼接合并,这得用Union组件,步骤如下:

  • 从左侧组件面板里找到Union组件,拖到流水线画布上
  • 把两个数据源的输出分别连到Union组件的两个输入端口(Union支持多个输入源)
  • 配置Union组件:因为两个数据集结构完全一致,直接用默认配置就行,组件会自动匹配同名字段
  • 把Union组件的输出连接到你的目标表(比如BigQuery表、Cloud Storage存储等),就能完成合并写入

额外注意:

  • 如果两个数据集列名有大小写差异或细微不一致,可以在Union的配置界面手动映射对齐列
  • 要是需要合并后去重,可以在Union之后加一个Deduplicate组件,或者根据组件选项选择去重的合并逻辑(类似SQL的UNION,而非UNION ALL)

内容的提问来源于stack exchange,提问作者Juno

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.06.28 12:55:55