如何在导入SQL表前用Pentaho Kettle去除重复数据行

可以实现导入前去重，直接用Pentaho转换中的两个核心步骤即可：

• 1. 排序记录步骤
  将Salesforce输入步骤的输出连接到「排序记录」组件，选择Name、Price这类业务字段作为排序关键字，让相同业务内容的记录连续排列，为去重操作铺垫。

• 2. 去除重复记录步骤
  把排序后的数据流接入「去除重复记录」组件，在配置面板中只勾选Name、Price作为重复判断字段（不要勾选Id）。该组件会自动剔除重复的业务记录，默认保留每组重复中的第一条；若需保留特定Id的记录，可在排序时额外加入Id字段并设置排序顺序（比如Id降序则保留最大的Id）。

• 3. 对接SQL输出
  将去重后的数据流直接连接到SQL表输出步骤，完成导入即可。

注意：必须先排序再去重，「去除重复记录」组件仅能识别连续的重复行，未排序的话可能漏判重复。

内容的提问来源于stack exchange，提问作者Tayyaba Noor