Python中快速拆分超长字符串并转换为数组的最优方法

针对包含1000万个分号的超长字符串，以下是几种远快于split或fromtostring的实现方式，核心思路是避免生成大量Python字符串对象，直接在字节/数组层面完成解析：

最优方案：字节级替换 + numpy.frombuffer #

这是速度最快的方法之一，全程依赖C级别的操作，几乎没有Python层面的开销：

import numpy as np

# 假设x是你的超长分号分隔字符串
# 先移除末尾可能存在的多余分号（避免生成空元素）
x_clean = x.rstrip(';')
# 转换为字节数组，将分号字节替换为空格字节
bytes_data = x_clean.encode().replace(b';', b' ')
# 直接从字节数组解析为整数数组
y = np.frombuffer(bytes_data, dtype=np.int64, sep=' ')

为什么快？ #

1. 字节级操作：字符串转字节后，replace是C实现的字节替换，比Python字符串替换效率高得多；
2. 无中间Python对象：frombuffer直接将字节数据解析为Numpy数组，不会创建1000万个临时字符串对象，内存和时间开销骤降。

简化版：numpy.fromstring #

如果觉得字节操作麻烦，也可以直接用fromstring（内部逻辑和frombuffer类似），但字符串替换的效率略低于字节替换：

import numpy as np

y = np.fromstring(x.rstrip(';').replace(';', ' '), dtype=int, sep=' ')

为什么你之前的方法慢？ #

• array(x.split(";"))：split会生成1000万+1个Python字符串对象，每个对象都需要内存分配和初始化，之后还要逐个转换为整数，双重开销导致速度极慢；
• numpy.fromtostring：该方法已被标记为过时，且若未正确指定sep参数，会错误地将字符串视为二进制数据解析；即使指定sep，旧版本的实现效率也不如frombuffer。

内容的提问来源于stack exchange，提问作者AdrienC