Python替换CSV文件remarks列指定字符及报错排查

错误原因 #

报错ValueError: cannot index with vector containing NA/NaN values是因为代码中df1 = df3[df3["remarks"]]这行尝试用包含NaN值的布尔序列索引DataFrame。当remarks列存在空值（NaN）时，df3["remarks"]会生成包含True/False/NaN的序列，而pandas不允许使用含NaN的布尔索引。

同时原代码存在冗余：生成中间文件output.csv再读取处理，不符合“直接修改原文件”的需求，且多次单独调用replace也可以合并优化。

修正后的代码 #

import pandas as pd

# 读取原文件，筛选id=2的行并去重
df = pd.read_csv("input.csv", low_memory=False, encoding='ISO-8859-1')
df_processed = df[df["id"] == 2].drop_duplicates(keep='first')

# 对remarks列批量替换指定字符，同时处理空值避免报错
df_processed["remarks"] = df_processed["remarks"].str.replace(r'[()/_]', ' ', regex=True).fillna('')

# 直接覆盖原文件（操作前建议备份原文件）
df_processed.to_csv("input.csv", index=False, encoding='ISO-8859-1')

关键优化点 #

• 合并去重与字符替换流程，避免生成中间文件，直接修改原文件
• 使用str.replace配合正则表达式[()/_]一次性替换所有目标字符，简化代码
• 用fillna('')处理remarks列的空值，避免后续操作触发异常
• 移除错误的布尔索引操作，直接对整列进行批量处理

内容的提问来源于stack exchange，提问作者Fanatic