如何在Pandas中删除重复项且保留大小写敏感性？

要处理包含大小写差异字符串的DataFrame去重，同时严格区分大小写（只有完全一致的字符串才算重复），直接用pandas自带的方法就能搞定。

输入数据 #

import pandas as pd

df = pd.DataFrame({
    'company_name': ['Apple', 'apple','apple', 'BlackBerry', 
    'blackberry','Blackberry']
})

去重代码 #

# 执行去重，保留每个重复组的第一个出现项
df_unique = df.drop_duplicates()

输出结果 #

company_name
0         Apple
1         apple
2     BlackBerry
3    blackberry
4     Blackberry

说明 #

drop_duplicates()默认会严格匹配字符串内容，包括大小写——因为大小写不同的字符Unicode编码不一样，所以会被判定为不同条目。参数keep='first'是默认设置，会保留每个重复组合里第一次出现的记录，删掉后续重复的。

内容的提问来源于stack exchange，提问作者spartacus8w2039