如何在Pandas中仅对单列去重且保留整行其余数据
没问题,我来帮你实现这个需求!针对DataFrame的Jan列从后往前处理重复值、只清空重复单元格不删行的需求,用pandas可以轻松搞定,下面是具体步骤和示例:
解决方案:针对Jan列从后往前清空重复值(保留整行)
核心思路是对比当前行与下一行的Jan值,若重复则清空当前行的Jan值,正好匹配你“从最后一行向前处理”的要求——因为下一行是更靠后的行,只要当前行和它重复就清空当前的,最后一行自然不会被修改(没有下一行可对比)。
1. 构造示例DataFrame(模拟你的数据)
先创建一个和需求匹配的测试数据,方便你对照验证:
import pandas as pd # 模拟你的原始数据 data = { 'Jan': [10, 20, 20, 30, 30, 30], 'Feb': [5, 6, 7, 8, 9, 10], 'Mar': [1, 2, 3, 4, 5, 6] } df = pd.DataFrame(data)
原始DataFrame如下:
| Jan | Feb | Mar | |
|---|---|---|---|
| 0 | 10 | 5 | 1 |
| 1 | 20 | 6 | 2 |
| 2 | 20 | 7 | 3 |
| 3 | 30 | 8 | 4 |
| 4 | 30 | 9 | 5 |
| 5 | 30 | 10 | 6 |
2. 核心处理代码
仅需两行代码就能实现需求:
# 生成掩码:判断当前行Jan值是否和下一行Jan值重复 duplicate_mask = df['Jan'].eq(df['Jan'].shift(-1)) # 将重复的Jan单元格清空(设为缺失值) df.loc[duplicate_mask, 'Jan'] = pd.NA
3. 最终结果
处理后的DataFrame完全符合你的要求:
| Jan | Feb | Mar | |
|---|---|---|---|
| 0 | 10 | 5 | 1 |
| 1 | 6 | 2 | |
| 2 | 20 | 7 | 3 |
| 3 | 8 | 4 | |
| 4 | 9 | 5 | |
| 5 | 30 | 10 | 6 |
代码逻辑说明
df['Jan'].shift(-1):把Jan列的所有元素向上移动一位,最后一行会变成缺失值(因为没有下一行);df['Jan'].eq(...):对比当前行Jan值和移动后的Jan值,得到布尔掩码——True表示当前行和下一行Jan值重复;df.loc[duplicate_mask, 'Jan'] = pd.NA:把掩码为True的位置的Jan值设为缺失值(即清空单元格),其他列和行完全保留。
这个方法对数值、字符串等类型的Jan值都适用,直接替换你的原始DataFrame就能用啦!
内容的提问来源于stack exchange,提问作者Ni_Tempe
相关产品推荐
相关产品推荐

