使用Python替换CSV指定文本时遇编码报错、pandas替换无效的问题求助
CSV批量字符替换异常排查与解决方案
原生文件读写的UnicodeDecodeError报错修复
报错核心原因:Windows环境下Python内置open()默认使用cp1252(ANSI)编码读取文件,当你的data.csv实际为UTF-8编码(因description列包含HTML特殊字符、非西文字符),解码时会遇到编码表无法识别的字节,触发解码失败。
修复实现:读写时显式指定文件编码,搭配上下文管理器避免文件句柄泄露,写文件时加newline=""防止Windows平台写出多余空行:
with open("data.csv", "r", encoding="utf-8") as f: origin_content = f.read() replaced_content = origin_content.replace("InterviewNotification", "InterviewAlert") with open("output.csv", "w", encoding="utf-8", newline="") as f: f.write(replaced_content)
Pandas替换逻辑失效原因与修复
你用pandas实现的替换没有达到预期,通常是两个问题导致:
- 读取CSV时未显式指定编码,和原生读写的问题一致,默认cp1252编码要么直接解码报错,要么读出的内容乱码,根本匹配不到目标文本
- Pandas内置的
DataFrame.replace()默认执行整单元格精确匹配,如果你的description列内容是嵌入了目标字符串的长HTML片段(不是单元格内容完全等于InterviewNotification),就会匹配失败,无法触发替换。
修正后的pandas实现:读文件时明确匹配原文件编码,开启正则匹配实现文本内子串替换,写出时避免多余空行:
import pandas as pd # 读文件时指定和原文件一致的编码 df = pd.read_csv("data.csv", encoding="utf-8") # 开启正则模式,匹配所有单元格内的目标子串完成替换 df = df.replace("InterviewNotification", "InterviewAlert", regex=True) # 写出时不保留行索引,指定编码,避免Windows下的空行问题 df.to_csv("output.csv", index=False, encoding="utf-8", newline="")
常见排坑提示
- 若替换后依然识别不到目标文本,可打开原CSV检查目标字符串是否被HTML转义(例如转为
Interview-Notification这类实体格式),需要对应匹配转义后的内容再执行替换 - 若原文件实际为GBK/GB2312编码,将代码里的
encoding="utf-8"替换为对应编码值即可
内容的提问来源于stack exchange,提问作者Dani Dev
相关产品推荐
相关产品推荐

