如何在Talend中实现类似Pandas concat的数据集拼接?
Talend实现类似Pandas concat的行拼接操作
你要的这种行级垂直合并(对齐列、缺失字段补空),在Talend里用tUnite组件就能实现,这正是它的设计用途——tMap主要做字段映射、表关联,不适合这种上下拼接场景。
具体操作步骤:
- 先通过对应数据源组件(比如
tFileInputDelimited读取文件、tDBInput读数据库)分别加载你的两个数据集 - 拖拽一个
tUnite组件到画布,把两个数据源组件的输出端口都连接到tUnite的输入端口 - 进入
tUnite的配置界面,切换到Schema标签:- 合并两个输入的所有字段,最终Schema要包含
Column A、Column B、Column C三个字段 - 对每个字段设置来源:
Column A只关联第一个数据集的对应字段,第二个数据集的Column A位置留空;Column C只关联第二个数据集的对应字段,第一个数据集的Column C位置留空;Column B分别关联两个数据集的对应字段
- 合并两个输入的所有字段,最终Schema要包含
- 把
tUnite的输出端口连接到输出组件(比如tFileOutputDelimited),运行作业就能得到你要的结果,缺失的字段会自动填充空值(对应示例里的NaN)
内容的提问来源于stack exchange,提问作者Fabio Mignardi
相关产品推荐
相关产品推荐

