Pandas处理CSV文件时替换双反斜杠失效该如何解决？

你写的代码不生效是两个核心问题导致的：

• pd.DataFrame.replace() 默认是全值匹配，只有整个单元格的内容完全等于\时才会执行替换，要替换字符串内部的子串，必须开启regex=True参数
• replace方法默认不会修改原DataFrame，要么加inplace=True参数，要么把方法返回的新DataFrame赋值给变量
• 额外注意：正则表达式中反斜杠是转义符，要匹配字面量的单个反斜杠，需要写原始字符串r"\\"，或者用四个转义后的反斜杠"\\\\"

全表所有字段替换反斜杠 #

适合所有字段都需要清理的场景，代码如下：

import pandas as pd

# 读取CSV时指定dtype=str，保证所有字段都按字符串处理，避免数字字段处理报错
csv_input = pd.read_csv('/Users/me/file.csv', dtype=str)
# 全局替换所有子串中的反斜杠
csv_input = csv_input.replace(r"\\", "", regex=True)
# 导出结果，指定utf-8-sig编码避免中文乱码
csv_input.to_csv('/Users/me/file_revised.csv', index=False, encoding='utf-8-sig')

仅指定字段替换反斜杠 #

如果只需要清理企业名称、地址等特定字段，可以用下面的写法减少不必要的计算：

import pandas as pd

csv_input = pd.read_csv('/Users/me/file.csv', dtype=str)
# 填写需要清理的列名
cols_to_clean = ['company_name', 'address']
csv_input[cols_to_clean] = csv_input[cols_to_clean].replace(r"\\", "", regex=True)
csv_input.to_csv('/Users/me/file_revised.csv', index=False, encoding='utf-8-sig')

超大型CSV分块处理方案 #

如果文件过大内存无法一次性加载，可以用分块读取的方式处理：

import pandas as pd

chunk_size = 100000 # 每块处理10万行，可根据自身内存大小调整
with pd.read_csv('/Users/me/file.csv', chunksize=chunk_size, dtype=str) as reader:
    for idx, chunk in enumerate(reader):
        chunk = chunk.replace(r"\\", "", regex=True)
        # 仅第一块写入表头，后续块跳过表头避免重复
        chunk.to_csv('/Users/me/file_revised.csv', mode='a', index=False, header=idx==0, encoding='utf-8-sig')

内容的提问来源于stack exchange，提问作者Stpete111