Python高效重采样咨询：百万级DNA碱基多次重采样提速方案

嘿，处理百万级DNA碱基的万次重采样，慢到卡壳太正常了——纯Python循环在这种规模下根本扛不住。给你几个实测有效的提速方案，按易用性和速度排序：

1. 用Numpy矢量化操作（首选！） #

Numpy的底层是C实现的矢量化运算，完全避开了Python层面的循环开销，速度能比纯Python快几十甚至上百倍。核心思路是一次性生成所有重采样的索引，再批量提取序列：

import numpy as np

# 先把你的DNA序列（字符串/列表）转成Numpy数组
dna_seq = np.array(list("ACTGACTG..."))  # 替换成你的百万碱基序列
n_resamples = 10000
seq_length = len(dna_seq)

# 一次性生成所有重采样的索引矩阵：形状为(10000, 1000000)
resample_indices = np.random.choice(seq_length, size=(n_resamples, seq_length), replace=True)
# 批量获取重采样后的序列
resampled_seqs = dna_seq[resample_indices]

额外优化：用整数编码DNA碱基 #

如果你的内存吃紧，或者想再提提速，可以把A/C/T/G映射成整数（比如0-3），用uint8类型存储，内存占用只有字符数组的1/4左右：

# 字符转整数映射
char_to_idx = {'A': 0, 'C': 1, 'T': 2, 'G': 3}
dna_int = np.array([char_to_idx[c] for c in dna_seq], dtype=np.uint8)

# 重采样
resampled_int = np.random.choice(dna_int, size=(n_resamples, seq_length), replace=True)

# 如需转回字符，用反向映射
idx_to_char = {v: k for k, v in char_to_idx.items()}
resampled_seqs = np.vectorize(idx_to_char.get)(resampled_int)

2. 用Numba编译自定义函数（适合有特殊逻辑的场景） #

如果你的重采样不是单纯的随机抽取，还包含一些自定义处理逻辑，Numba的JIT编译能把Python函数转成机器码，让循环也跑得飞快：

from numba import jit
import numpy as np

@jit(nopython=True)  # 开启nopython模式，速度最快
def resample_dna_with_logic(dna_array, n_resamples):
    seq_len = len(dna_array)
    # 预分配结果数组，避免动态扩容的开销
    result = np.empty((n_resamples, seq_len), dtype=dna_array.dtype)
    for i in range(n_resamples):
        # 这里可以加入你的自定义逻辑，比如加权采样等
        result[i] = np.random.choice(dna_array, size=seq_len, replace=True)
    return result

# 使用示例
dna_array = np.array(list("ACTGACTG..."))
resampled_seqs = resample_dna_with_logic(dna_array, 10000)

避坑提醒：别用纯Python的random.choices #

虽然random.choices支持可放回采样，但它是纯Python实现的，循环10000次处理百万序列的话，速度会慢到让人怀疑人生，完全不适合这个规模的任务。

内容的提问来源于stack exchange，提问作者Homap