Pandas邮件数据框打Spam标签时apply赋值覆盖问题求助

问题修正方案 #

一、更推荐的Pandas向量化写法（数据量大时效率远高于for循环） #

不需要用for循环，直接合并两个判断条件即可一步得到布尔值类型的Spam列，不会出现覆盖问题：

# 修正发件人匹配逻辑：同时包含no、reply两个关键词
cond1 = df['SenderEmail'].str.lower().str.contains('no') & df['SenderEmail'].str.lower().str.contains('reply')
# 正文匹配条件
cond2 = df['MessageBody'].str.lower().str.contains('please do not reply')
# 满足任意一个条件就标记为垃圾邮件，否则为False
df['Spam'] = cond1 | cond2

二、for循环实现写法 #

如果需要按要求用for循环逐行判断，可以参考如下代码：

# 先初始化Spam列全为False
df['Spam'] = False
# 逐行遍历判断
for idx, row in df.iterrows():
    sender_low = row['SenderEmail'].lower()
    cond_sender = 'no' in sender_low and 'reply' in sender_low
    body_low = row['MessageBody'].lower()
    cond_body = 'please do not reply' in body_low
    # 任意条件命中就标记为True
    if cond_sender or cond_body:
        df.loc[idx, 'Spam'] = True

原代码问题说明 #

• 逻辑错误：原第一行的判断"no" and "reply" in x.lower()不符合预期，Python运算符优先级会先判定"no"的布尔值（非空字符串默认是True），最终实际只校验了reply是否存在，漏了no的匹配
• 覆盖问题：两次对df['Spam']全列赋值，后一次执行会直接覆盖前一次的全部结果
• 类型问题：else后返回空字符串，会导致列内同时存在布尔值和字符串，不符合统一TRUE/FALSE标签的要求

内容的提问来源于stack exchange，提问作者Steven Liang