导入数组内存占用过高：Python与Numpy版本差异问题排查

1. Numpy 2.x与1.x的行为差异 #

Numpy 2.x作为大版本更新，在数组初始化、内存分配机制上存在不少变化：

• 若你的abc.py是通过硬编码大量元素的方式生成x_train/y_train，Numpy 2.x处理这类大规模数组创建时，可能产生更多临时对象，或默认内存对齐、数据类型处理逻辑改变，直接导致内存占用急剧上升。
• 你使用from numpy import *的全局导入方式，Numpy 2.x命名空间中部分函数/类的行为有变更，比如array()函数的默认参数、返回值类型可能与1.x不同。若abc.py依赖这些隐式导入的函数创建数组，可能意外生成内存效率极低的数组类型（如object dtype而非数值型dtype），进而引发内存暴增。

2. Python 3.12导入机制的叠加影响 #

Python 3.12对导入系统做了优化，但处理97MB的超大.py文件时，解析和执行过程中的临时内存占用可能比3.10更高。叠加Numpy 2.x的内存管理变化，最终导致内存耗尽。

1. 数据与代码分离，使用专业存储格式 #

将数组从.py文件中剥离，改用Numpy原生二进制格式存储，这是最直接的优化方式：

• 保存数组（在环境2中执行，确保数组状态正确）：

  import numpy as np
  # 假设x_train、y_train已加载完成
  np.savez_compressed('train_data.npz', x_train=x_train, y_train=y_train)
  

• 加载数组（替换test.ipynb中原导入代码）：

  import numpy as np
  data = np.load('train_data.npz')
  x_train = data['x_train']
  y_train = data['y_train']
  

  这种方式的优势：压缩后文件体积远小于97MB、加载速度快、内存占用可控，且不受Numpy版本差异影响。

2. 摒弃全局导入，改用显式导入 #

停止使用from numpy import *和from math import *，改为显式导入所需模块或函数：

import numpy as np
from math import sqrt, pi

全局导入会污染命名空间，在Numpy版本迭代时极易引发兼容性问题，也不利于代码维护。

3. 超大数组的进阶加载方案 #

若后续数组规模持续增长，可使用HDF5格式（依赖h5py库）支持分块加载，避免一次性占用大量内存：

# 保存数组
import h5py
with h5py.File('train_data.h5', 'w') as f:
    f.create_dataset('x_train', data=x_train, compression='gzip')
    f.create_dataset('y_train', data=y_train, compression='gzip')

# 加载数组（可按需读取部分数据）
with h5py.File('train_data.h5', 'r') as f:
    x_train = f['x_train'][:]  # 读取全部，或指定切片读取部分数据
    y_train = f['y_train'][:]

内容的提问来源于stack exchange，提问作者ABCD