如何高效将字符串逐字符转换为NumPy整数数组？

需求是把字符串的每个字符转换为NumPy数组的对应元素（每个元素为字符的Unicode码点）。

尝试用np.frombuffer处理UTF-8编码字节时，会因UTF-8的可变长度特性导致结果不符合预期：

import numpy as np
x = np.frombuffer('fooλ'.encode(), dtype=np.uint8) # 得到：[102 111 111 206 187]

示例中的λ占2字节，最终数组元素是字节而非单个字符的码点。

用列表推导式结合ord()能得到正确结果，但执行效率较低：

x = np.asarray([ord(c) for c in 'fooλ']) # 得到：[102 111 111 955]

该方法需要Python解释器逐个调用ord()，无法利用NumPy的向量化优化。

高效实现方案 #

1. 基于UTF-32固定长度编码 #

UTF-32为每个Unicode字符分配固定4字节，直接从编码字节创建数组：

s = 'fooλ'
# 编码为UTF-32小端序（跳过BOM）
encoded = s.encode('utf-32-le')
x = np.frombuffer(encoded, dtype=np.int32)
# 输出：array([ 102,  111,  111,  955], dtype=int32)

此方法通过字节级操作实现，完全利用NumPy的向量化优势，是性能最优的方案之一。

2. 使用np.fromiter直接生成数组 #

避免创建中间列表，直接从map(ord, s)的迭代器生成数组：

x = np.fromiter(map(ord, s), dtype=np.int32)
# 输出：array([ 102,  111,  111,  955], dtype=int32)

相比列表推导式，该方法节省内存且执行速度更快，适合处理长字符串。

3. 利用NumPy字符串视图转换 #

将字符串转为单字符字符串数组后，通过视图转换为整数数组：

x = np.array(s, dtype='U1').view(np.int32).flatten()
# 输出：array([ 102,  111,  111,  955], dtype=int32)

代码简洁，底层依赖NumPy的向量化操作，性能表现优异。

内容的提问来源于stack exchange，提问作者Kevin Kostlan