如何在DataFrame更新时避免df.loc赋值添加新记录？

内存可容纳的小数据集优化 #

如果你的DataFrame能放进内存，别用循环逐行更新，直接筛选出字典中存在于DataFrame索引的键值对，批量更新：

import pandas as pd

df = pd.DataFrame({'alpha': ['a', 'b', 'c']})
trans = {1: 'B',2: 'C',3: 'D'}

# 筛选出trans中在df索引里的有效键值对
valid_keys = df.index.intersection(trans.keys())
# 批量更新，不会新增行
df.loc[valid_keys, 'alpha'] = [trans[k] for k in valid_keys]

这样处理后，df只会更新已有索引的行，不会新增索引3的行，而且比循环加if key in df.index:快得多——因为pandas的索引是哈希结构，intersection操作是向量化的，时间复杂度远低于循环判断每个键。

大数据集（无法全量载入内存）的处理方案 #

既然你是逐行/分块读取数据，核心思路是在读取分块的时候就完成更新，避免全量数据占内存，同时用向量化操作替代循环：

分块读取+逐块处理+写入 #

import pandas as pd

trans = {1: 'B', 2: 'C', 3: 'D'}
# 按块读取大数据文件，chunksize根据你的内存大小调整（比如1万行一块）
chunk_iter = pd.read_csv('your_large_data.csv', chunksize=10000)

# 逐块处理并写入结果文件，不用合并所有块到内存
with open('updated_data.csv', 'w', encoding='utf-8') as output_file:
    for idx, chunk in enumerate(chunk_iter):
        # 找到当前块索引和trans的交集
        common_indices = chunk.index.intersection(trans.keys())
        # 批量更新这些索引的alpha列
        chunk.loc[common_indices, 'alpha'] = chunk.loc[common_indices, 'alpha'].map(trans)
        # 写入文件，第一块写表头，后续块不写
        chunk.to_csv(output_file, header=(idx == 0), index=False)

为什么这个方案高效？ #

• 分块处理：不用把整个大文件载入内存，每次只处理一小部分数据，内存压力小。
• 向量化操作：用index.intersection找共同索引，用map批量更新，比循环逐行判断+loc操作快几个数量级。
• 无新增行：只更新当前块中已存在的索引，不会因为字典里有额外索引就新增行。

内容的提问来源于stack exchange，提问作者OldChi