使用Python linearmodels执行IV2SLS时遇内存错误的求助

我尝试使用linearmodels库的IV2SLS方法执行2SLS回归以估计价格弹性，数据结构如下：
| ln_q | ln_p | .... weather variables ... | ... instruments ... |... user id dummies ...|
所有数据类型为np.float32，数据数组规模约为(200000, 20000)，占用内存约16GB。

我按如下方式构建模型：

dependent = ln_q
endog = weather variables + user id dummies
exog = ln_p
instruments = instruments
results = IV2SLS(dependent, endog, exog, instruments).fit()

运行完整数据集时，持续出现错误：
Unable to allocate 27.8GiB of memory to an array with shape (202507, 18450) and data type float64

我使用的是64位Python，机器配备128GB内存。我尝试通过自定义权重规避问题：

results = IV2SLS(dependent, endog, exog, instruments, weights=np.ones(dependent.shape, dtype=np.float32)).fit()

但仍出现相同的MemoryError。

请问为何约16GB的数组在此过程中占用超100GB内存？我该如何运行该回归？

内存暴涨的核心原因 #

• 数据类型自动提升：linearmodels执行矩阵运算时，会默认将float32转换为float64以保证数值稳定性，直接让内存占用翻倍。
• 2SLS运算的矩阵开销：2SLS需要计算X'X、Z'X、Z'Z这类交叉乘积矩阵，你的内生变量+工具变量维度接近2万，对应交叉矩阵用float64存储就占约3.2GB，再加上运算过程中生成的多个临时矩阵，内存占用会呈指数级增长。
• 虚拟变量冗余：全量引入用户ID哑变量会大幅增加矩阵维度，不仅带来共线性问题，更是内存飙升的关键因素。

可行解决方法 #

1. 优化数据类型与内存 #

• 强制使用float32运算：将所有输入数组显式转为float32，在fit()中指定cov_type='unadjusted'减少计算开销；部分linearmodels版本可通过修改内部配置锁定数据类型。
• 清理内存碎片：运行回归前执行gc.collect()手动回收内存，避免冗余变量占用空间。

2. 简化模型维度 #

• 替换全量哑变量：用固定效应替代用户ID哑变量，linearmodels的IV2SLS支持EntityEffects处理用户固定效应，无需生成全量哑变量，直接把维度从几万降到个位数。
• 降维天气变量：对天气变量做主成分分析(PCA)，提取核心特征，减少自变量维度。

3. 分块或稀疏矩阵运算 #

• 分块实现2SLS：手动拆分数据块，分步计算交叉乘积矩阵再合并，避免一次性加载全量数据：

  # 第一阶段分块计算Z'Z和Z'X
  z_blocks = np.array_split(instruments, 10)
  x_blocks = np.array_split(endog, 10)
  ztz = sum(z.T @ z for z in z_blocks)
  ztx = sum(z.T @ x for z, x in zip(z_blocks, x_blocks))
  beta_first = np.linalg.inv(ztz) @ ztx.T
  # 计算拟合值后执行第二阶段回归
  x_hat = endog @ beta_first.T
  # 第二阶段用x_hat和exog回归
  

• 用稀疏矩阵：如果哑变量、工具变量是稀疏结构，转为scipy.sparse矩阵输入，linearmodels支持稀疏矩阵，能大幅降低内存占用。

4. 硬件与环境优化 #

• 启用多线程：设置环境变量OMP_NUM_THREADS为CPU核心数，加快运算速度的同时减少内存驻留时间。
• 内存映射文件：将大型数组存储为np.memmap，按需读取数据，避免一次性加载全量数据到内存。

内容的提问来源于stack exchange，提问作者Cade Karrenberg