Pandas如何基于Email分组条件替换DataFrame列中占位文本值

核心思路 #

所有No XYZ listed格式的内容本质是缺失值占位符，先把这类值统一转换为pandas可识别的空值，再按Email字段分组，用同组内的有效信息双向填充空值即可，不需要逐行做匹配查询。

完整实现代码 #

import pandas as pd
import numpy as np

# 1. 加载/构造目标DataFrame
dummy_df_dict  = {'Email':['joblogs@gmail.com', 'joblogs@gmail.com', 'johnsmith@gmail.com', 'johnsmith@gmail.com'],
              'Transaction_Country': ['CA', 'No Country Listed', 'No Country Listed', 'DE'],
             'Country_name': ['Canada', 'No Country Listed', 'No Country Listed', 'Germany'],
                       'Continent':['North America', 'No Contient listed', 'No Contient listed', 'Europe']}
df = pd.DataFrame(dummy_df_dict)

# 2. 统一替换所有符合"No XYZ listed"格式的占位值为空值
# 正则匹配规则兼容列字段拼写差异，比如示例里大洲列的拼写错误也能正常识别
df = df.replace(regex=r'^No .* listed$', value=np.nan)

# 3. 按Email分组，对所有字段做双向填充
# 先做前向填充、再做后向填充，保证同组内不管有效值出现在哪一行，都能覆盖到所有占位行
df = df.groupby('Email', group_keys=False).apply(lambda col: col.ffill().bfill())

处理后结果 #

处理完成后DataFrame内容如下，所有占位值都被替换为对应邮箱的有效信息：

Email Transaction_Country Country_name      Continent
0   joblogs@gmail.com                  CA       Canada  North America
1   joblogs@gmail.com                  CA       Canada  North America
2  johnsmith@gmail.com                  DE      Germany         Europe
3  johnsmith@gmail.com                  DE      Germany         Europe

注意事项 #

• 该方案默认同一个Email对应的国家、大洲属性唯一，如果业务中存在同一邮箱对应多个不同有效地区信息的场景，可以调整分组后的填充逻辑，比如按交易时间取最新的有效记录做填充
• 正则匹配规则不需要逐列单独配置，后续新增同格式占位的字段时，代码不需要修改就能自动完成识别和补全

内容的提问来源于stack exchange，提问作者Cummins070