如何高效获取字典B中与A值差异对应的键（大数据量场景）

我正在用Python同步两个MSSQL表，表包含70万+行数据，每行有52+字段。之前采用截断表B后全量插入表A数据的方式，耗时过长。后续改为计算表A与表B的数据差异（A-B和B-A），插入A-B的数据、删除B-A的数据，但带52个参数的删除查询耗时仍久。因此希望通过值差异找到表B中对应数据的键，进而批量删除对应数据。

现有字典示例：

A = {1:('a','b','c','d'), 2:('a','b','d','d'),3:('a','b','c','c')}
B = {111:('a','b','c','d'), 31:('a','b','d','d'),39:('a','b','c','e')}

# 执行如下操作后
data = set(B.values()) - set(A.values())
# 得到data = {('a','b','c','e')}
# 但我期望的输出是 39 : ('a','b','c','e')

由于A和B的键完全不同，无法直接通过键匹配；嵌套循环处理70万+数据耗时过长，求助如何高效获取这些差异值对应的字典B的键。

针对百万级数据量，反向构建值到键的映射表是最优方案，时间复杂度为O(n)，远优于嵌套循环的O(n²)。

步骤1：构建B的反向映射字典 #

如果每条数据（元组）是唯一的（同步场景下通常如此），直接用值作为键、原字典的键作为值构建反向映射：

# 构建B的反向映射：值 -> 键
b_value_to_key = {v: k for k, v in B.items()}

若存在重复值（同一条数据对应多个键），则用列表存储对应键：

from collections import defaultdict
b_value_to_key = defaultdict(list)
for k, v in B.items():
    b_value_to_key[v].append(k)

步骤2：快速匹配差异值对应的键 #

先计算B中独有的值集合，再通过反向映射直接取出对应的键：

# 计算B独有的值
unique_in_b = set(B.values()) - set(A.values())
# 获取对应的键和值
result = {b_value_to_key[v]: v for v in unique_in_b}

用示例数据运行后，result即为{39: ('a','b','c','e')}，完全符合需求。

针对MSSQL同步的额外优化建议 #

• 批量读取表数据时，用pandas.read_sql的chunksize参数分块读取，避免内存溢出。
• 构建反向映射可在读取表B数据时同步进行，无需先存储完整的B字典，节省内存。
• 批量删除时，将获取到的键拼成IN子句，比如生成DELETE FROM tableB WHERE id IN (39, ...)的SQL，远比分多次单条删除或带52个参数的删除高效。

内容的提问来源于stack exchange，提问作者UDIT