为什么Python 3中字符串索引比NumPy索引慢10倍？

这个性能差异的核心，其实是Python原生字符串和NumPy数组的底层设计逻辑、操作模式完全不同，咱们结合你给出的测试代码来拆解原因：

首先先还原你的测试代码：

import numpy as np
vocab = 'abcdefghijklmnopqrstuvwxyz ,-'
vocab_np = np.array(list(vocab))
ind = np.random.randint(0, len(vocab), size=10000)

# Python字符串索引版本
%timeit s = ''.join(vocab[i] for i in ind)  # 2.86 ms ± 10.2 µs per loop
# NumPy数组索引版本
%timeit s = ''.join(vocab_np[ind].tolist())  # 284 µs ± 943 ns per loop

1. 单元素索引的底层开销天差地别 #

Python的字符串是不可变的Unicode序列，每次执行vocab[i]都是一次Python层面的完整操作：要做边界检查、从字符串里取出单个字符后，还要把它包装成一个新的Python字符串对象——哪怕只是单个字符，也逃不开Python对象模型的开销。

而NumPy数组是基于C语言实现的，它的内存是连续的同类型块。vocab_np[ind]这种批量索引操作，全程在C层面完成：没有Python对象的反复创建，不需要每次都走Python解释器的逻辑，直接一次性处理所有索引，把结果放到新的NumPy数组里，开销极低。

2. 批量操作 vs Python循环 #

你的Python版本用了生成器表达式vocab[i] for i in ind，这意味着要在Python层面循环10000次，每一次循环都要触发一次字符串索引的逻辑。Python的循环本身就比底层C循环慢很多，10000次的累积开销自然就上去了。

而NumPy的索引是向量化操作：它把整个ind数组作为输入，在底层用高度优化的C循环一次性完成所有元素的查找，这种批量处理的效率，是Python层面的循环没法比的。

3. 内存布局与类型优化 #

NumPy数组存储的是同类型的元素（这里是单个字符对应的统一 dtype），内存连续排布，访问时CPU缓存的命中率极高，进一步加快了速度。

而Python字符串虽然也是连续存储，但每次取单个元素都要经过Python对象模型的转换，额外的开销叠加起来就非常可观。哪怕vocab_np[ind].tolist()有一次从NumPy数组转Python列表的开销，相比10000次Python索引的总开销，这点成本几乎可以忽略。

其实哪怕你把Python版本改成用列表推导[vocab[i] for i in ind]再join，速度还是会比NumPy慢不少——核心的单元素索引开销和Python循环的问题依然存在。

内容的提问来源于stack exchange，提问作者rd11