如何用Pandas高效实现从文件替换表替换DataFrame中的值？

你的当前方案能正常运行，但循环调用df.replace()会重复遍历整个DataFrame，当替换项较多或数据集较大时，效率会比较低。以下是几个更优的优化思路：

1. 构建映射字典，单次完成全量替换 #

把替换表的两列直接转换成{旧值: 新值}的字典，一次性传入df.replace()，让Pandas内部批量处理，避免循环遍历的开销。这是最直接的优化，逻辑和原代码一致（全匹配替换），但性能提升明显。

示例代码：

file = 'replacement_table.csv'
replace_table = pd.read_csv(file)

# 构建Base name到Destination name的映射字典
replace_map = replace_table.set_index('Base name')['Destination name'].to_dict()

# 单次调用完成所有替换
df = df.replace(replace_map)

2. 针对部分匹配场景的正则批量替换 #

如果你的需求是单元格包含旧值就替换（而非全匹配），可以将映射字典的键转成正则表达式（注意转义特殊字符），再开启regex=True参数实现批量部分替换。

示例代码：

import re

replace_table = pd.read_csv('replacement_table.csv')
replace_map = replace_table.set_index('Base name')['Destination name'].to_dict()

# 转义正则特殊字符（如.、*、?等），避免意外匹配
replace_map = {re.escape(old_val): new_val for old_val, new_val in replace_map.items()}

# 开启正则模式完成部分匹配替换
df = df.replace(replace_map, regex=True)

3. 大型数据集的内存与性能优化 #

• 原地替换节省内存：使用inplace=True参数，避免创建DataFrame副本，适合内存紧张的场景：

  df.replace(replace_map, inplace=True)
  

• 指定目标列缩小计算范围：如果只需要替换特定列，通过subset参数限定处理范围，减少不必要的计算：

  # 仅替换'product_name'和'category'列
  df.replace(replace_map, subset=['product_name', 'category'], inplace=True)
  

4. 替换结果验证技巧 #

可以用以下方法快速验证替换是否正确：

• 查看哪些单元格命中了替换规则：df[df.isin(replace_map.keys())]
• 对比替换前后的差异：df.replace(replace_map).compare(df)

内容的提问来源于stack exchange，提问作者Alejandra