如何加速Python中连续调用的for循环？图像像素反转场景优化

为什么原代码速度极慢？ #

原代码用了两层Python嵌套循环：外层遍历DataFrame的784列，内层遍历70000行的每个像素，总共要执行5400多万次循环。Python的循环本身开销极大，这种逐元素的操作自然会慢到离谱。而NumPy/Pandas的核心优势就是向量化操作——用底层C实现的批量运算替代Python循环，速度能提升几个数量级。

优化后的代码（三种方案，从简单到灵活） #

方案1：直接用Pandas向量化运算（最简单） #

converted_X = 255.0 - X

就这一行！Pandas DataFrame支持直接与标量做算术运算，会自动对每个元素执行255 - 像素值的操作，完全不需要手动写循环。

方案2：转成NumPy数组操作（更底层，适合后续扩展） #

如果之后要做更多NumPy相关的图像处理，可以先把DataFrame转成NumPy数组，操作完成后再转回DataFrame：

# 将DataFrame转为NumPy数组
X_np = X.to_numpy()
# 执行向量化像素反转
converted_X_np = 255.0 - X_np
# 转回DataFrame（保留原列名结构）
converted_X = pd.DataFrame(converted_X_np, columns=X.columns)

NumPy的向量化运算比Pandas的封装层效率略高，适合超大规模数据处理场景。

方案3：原地修改（节省内存） #

如果不需要保留原始数据X，可以直接原地修改，避免复制整个DataFrame，大幅节省内存：

# 两步实现原地反转
X -= 255.0
X *= -1

# 或者更简洁的写法
X = 255.0 - X  # Pandas会自动优化内存，无需额外操作

基础知识点解释（针对NumPy/Pandas新手） #

• 向量化操作：无需编写Python循环，直接对整个数组/DataFrame执行运算，底层由C语言实现批量计算，速度比Python循环快几十到几百倍。
• DataFrame与NumPy的关系：Pandas DataFrame本质是封装了NumPy数组的表格结构，因此NumPy的所有向量化运算都能直接适配到DataFrame上。
• 像素反转逻辑：手写数字数据集（如MNIST）的像素值范围为0-255，0代表黑色背景，255代表白色数字。255.0 - 像素值刚好实现黑/白反转的需求。

速度对比 #

原代码预计耗时4小时，优化后的代码耗时不会超过1秒（甚至毫秒级），性能差距是数量级的提升。

内容的提问来源于stack exchange，提问作者Hrishav Saha