如何在Dataiku工具中找出两个数据集的缺失记录?
在Dataiku中找出两个数据集的缺失记录
假设我们要找数据集A中有但数据集B中没有的那1条记录(反之操作同理),可以按以下步骤操作:
1. 确认唯一标识字段
先确定两个数据集共有的唯一标识字段(比如ID、订单号这类不会重复的字段),这是匹配记录的核心依据,没有的话需要先处理生成。
2. 用「Set Operations」配方快速找差集
- 在Dataiku的Flow界面,同时选中数据集A和B,点击顶部「+Recipe」,选择「Set Operations」。
- 在配方配置页,操作类型选Difference(差集)。
- 设置「Left dataset」为A,「Right dataset」为B,这样输出结果就是A存在但B没有的记录。
- 在「Columns to match on」里选中你确定的唯一标识字段,让系统以此判断记录是否重复。
- 点击「Run」执行配方,生成的输出数据集就是A中缺失在B里的那条记录。
3. 用「Join」配方实现(备选方案)
- 创建Join配方,选A作为左表、B作为右表,连接类型选「Left join」,匹配字段设为唯一标识。
- 执行后,在输出数据集里筛选出右表唯一标识字段为
NULL的记录,这些就是A独有的缺失记录。
如果要找B中缺失在A里的记录,只需在Set Operations里调换左右数据集,或在Join配方里选「Right join」后筛选左表标识为NULL的记录即可。
内容的提问来源于stack exchange,提问作者Python Dev
相关产品推荐
相关产品推荐

