如何在Power Query中去除各员工的重复售出商品

问题描述 #

原始数据示例：

需要实现：针对每位员工，去除其重复的售出商品记录。比如员工1006的4条记录（apple、apple、orange、orange），去重后保留apple、orange各1条，且该操作需对所有员工生效。

预期效果：

单独对item_sold列去重无法兼顾employee_id维度，因此求助解决方案。

解决方案 #

根据常用工具场景，提供以下几种实现方式：

1. Excel 操作

• 选中包含表头的数据区域
• 点击「数据」选项卡 → 删除重复值
• 在弹出对话框中，勾选employee_id和item_sold两列，点击确定即可

2. SQL 实现

通过指定双字段去重，两种写法任选：

-- 方法1：使用DISTINCT
SELECT DISTINCT employee_id, item_sold FROM your_table_name;

-- 方法2：使用GROUP BY
SELECT employee_id, item_sold FROM your_table_name GROUP BY employee_id, item_sold;

3. Python Pandas 实现

利用drop_duplicates方法指定去重维度：

import pandas as pd

# 读取数据，替换为你的数据路径/方式
df = pd.read_csv("your_data_file.csv")
# 按员工ID和商品名去重，保留首次出现的记录
df_unique = df.drop_duplicates(subset=["employee_id", "item_sold"], keep="first")
# 输出或保存结果
print(df_unique)
# df_unique.to_csv("result.csv", index=False)

内容的提问来源于stack exchange，提问作者weizer