如何提升Python for循环效率及优化全排列写入txt性能

安全阿岳

2026-5-25

问题1：如何提升Python中for循环的执行效率？

Python里的for循环在处理大量数据时确实容易拖慢速度，这里有几个我常用的优化技巧，亲测有效：

优先用内置函数和标准库方法
很多内置函数（比如map()、filter()）或者itertools这类标准库工具都是用C实现的，比纯Python循环快得多。比如要对列表每个元素平方，别写：
```
result = []
for num in nums:
    result.append(num**2)
```
换成map或者列表推导式，速度能提升不少。
用列表推导式替代普通for循环+append
列表推导式的底层实现更高效，同样的逻辑，它比手动循环append快2-3倍。比如上面的例子可以写成：
```
result = [num**2 for num in nums]
```
要是需要过滤+转换，也能一步到位：[num**2 for num in nums if num > 0]
避免循环内的重复计算
如果循环里每次都要计算同一个值（比如重复调用函数、频繁访问属性），把它提到循环外面。比如：
慢的写法：
```
import math
for num in nums:
    math.sqrt(num)  # 每次都要查找math.sqrt，效率低
```
优化后：
```
sqrt = math.sqrt
for num in nums:
    sqrt(num)
```
用NumPy进行向量化操作
如果你处理的是数值型数组，NumPy的向量化操作能把循环转移到底层C实现，速度提升几个数量级。比如：
```
import numpy as np
nums_np = np.array(nums)
result = nums_np ** 2  # 无需手动写循环，直接对整个数组操作
```
用Numba编译循环
要是你必须写Python循环（比如逻辑复杂没法用内置函数），可以用Numba的@njit装饰器把循环编译成机器码，速度能接近C。比如：
```
from numba import njit

@njit
def fast_sum(nums):
    total = 0
    for num in nums:
        total += num
    return total
```
第一次调用会触发编译，之后调用就超快了。
用生成器表达式节省内存（间接提升效率）
如果你不需要把所有结果都存在内存里，用生成器表达式（把[]换成()），这样不会一次性生成所有元素，节省内存的同时也能提升处理大数据时的速度。比如：
```
gen = (num**2 for num in nums)
for item in gen:
    # 逐个处理元素，不用占用大量内存
```

问题2：生成10词全排列写入.txt耗时过长，有没有更高效的保存方式？

10!是3,628,800个排列，这个数量级内存完全装得下，但你之前可能是生成一个排列就写一行，频繁的IO操作才是耗时的元凶。这里有几个优化方向：

批量收集结果，一次性写入
不要生成一个排列就调用一次file.write()，而是先把所有排列转换成字符串（每行一个），用'\n'.join()拼接成一个大字符串后再一次性写入文件。这样能把IO次数从几百万次降到1次，速度会快很多。比如：

from itertools import permutations

words = ["word1", "word2", ..., "word10"]
# 生成所有排列并转成空格分隔的字符串
perm_strings = [' '.join(perm) for perm in permutations(words)]
# 拼接成一个大字符串，每行对应一个排列
full_text = '\n'.join(perm_strings)
# 一次性写入文件
with open('permutations.txt', 'w', encoding='utf-8') as f:
    f.write(full_text)

要是担心内存（其实10!的拼接结果也就几十MB，完全没问题），可以分批次写入，比如每10000个排列写一次：

with open('permutations.txt', 'w', encoding='utf-8') as f:
    batch = []
    for i, perm in enumerate(permutations(words)):
        batch.append(' '.join(perm))
        if i % 10000 == 9999:  # 每10000个排列写一次
            f.write('\n'.join(batch) + '\n')
            batch = []
    # 写入剩余的排列
    if batch:
        f.write('\n'.join(batch))

使用更大的文件缓冲区
打开文件时指定buffering参数，设置更大的缓冲区，减少磁盘IO的次数。比如buffering=1024*1024（1MB缓冲区），或者用buffering=-1让系统自动设置最优缓冲区。
避免不必要的字符串处理
如果你之前用print(perm, file=f)来写入，print函数会额外做字符串处理和换行操作，不如直接用f.write(' '.join(perm) + '\n')更高效，批量处理时用join的效果更好。

另外，全排列的生成本身是O(n!)复杂度，这个没法降低，但写入的开销可以大幅优化，上面的方法应该能让你的写入时间减少很多。

内容的提问来源于stack exchange，提问作者BenVes