为何pandas.Series.map性能异常低下？求高效查表方案

嘿，我来帮你拆解这个头疼的问题！

问题1：Series.map的表现是否符合预期？为什么性能低下？ #

这个表现完全不符合我们的直觉预期，但背后是pandas内部的处理逻辑导致的：

• 当你给Series.map()传入另一个Series时，它并没有采用类似Python字典的O(1)哈希查找逻辑，而是将其转化为**基于索引的左连接（left join）**操作。也就是说，哪怕你只查询3个值，pandas也会在整个大映射表的索引上做全局匹配，而不是快速定位。
• 你测试中对映射表做了sort_index()，但map()并没有利用排序索引的优势做二分查找，而是走了通用的索引匹配流程。这就导致耗时会随着映射表的大小线性增长——当n从1e6涨到1e7时，耗时直接跳了一个数量级，完全不符合O(len(query_vals))的预期。
• 另外，当映射表达到1e7级别时，内存中的数据调度开销也会显著增加，进一步拖慢了速度。

问题2：用Pandas实现高效查表的方法 #

这里有几个经过验证的高效方案，完全可以替代你当前的map()用法：

方案1：利用排序索引的二分查找（推荐，兼顾内存与速度） #

既然你已经对映射表做了sort_index()，可以用Index.get_indexer()批量获取查询值在索引中的位置，再通过take()取值。这个方法的时间复杂度是O(len(query_vals) * log(len(domain2range)))，大映射表下速度极快：

# 假设maptable已经执行过sort_index()
idx_pos = maptable.index.get_indexer(query_vals)
result = maptable.take(idx_pos)
# 保留原查询Series的索引
result.index = query_vals.index

用你的测试代码验证的话，不管n是10还是1e7，这个方法的耗时都会基本保持在同一个数量级。

方案2：转成Python字典（O(1)查找，内存允许时首选） #

如果你的映射表元素是可哈希类型（比如整数、字符串），直接转成字典后再用map()，此时map()会采用哈希查找，耗时只和查询值数量有关，和映射表大小无关：

map_dict = maptable.to_dict()
result = query_vals.map(map_dict)

这个方法在映射表不是特别大（比如1e7以内的整数映射）时，内存占用完全可控，速度也是最快的之一。

方案3：用pd.merge()处理批量大查询 #

如果你的查询值数量很大（比如百万级），可以用左连接来实现映射，pandas的merge操作做了大量优化，批量处理效率极高：

# 将查询值和映射表转成DataFrame
query_df = query_vals.reset_index(name='query_val')
map_df = maptable.reset_index(name='result_val')
# 左连接匹配
merged_df = query_df.merge(map_df, left_on='query_val', right_on='index', how='left')
# 还原成原索引的Series
result = merged_df.set_index('index')['result_val']

内容的提问来源于stack exchange，提问作者user48956