为何scipy.interpolate.LinearNDInterpolator在Docker中内存占用极高？

问题重现代码 #

test.py

import time
import numpy as np
from scipy.interpolate import LinearNDInterpolator

start_time = time.time()
points = [(0, 1500), (0, 1800), (0, 2000), (0, 2200), (180, 1600), (180, 1900), (180, 2100), (180, 2300)]
values = [5, 20, 25, 40, 2, 10, 15, 20]
points = np.array(points, dtype=np.float64)
values = np.array(values, dtype=np.float64)
interp = LinearNDInterpolator(points, values)
rng = np.random.default_rng()
sampled_angles = 180 * rng.random(size=6000*6000, dtype=np.float64)
sampled_altitude = (2200 - 1600) * rng.random(size=6000*6000, dtype=np.float64) + 1600
interpolated_thicknesses = interp(sampled_angles, sampled_altitude)
print(interpolated_thicknesses[:10])
end_time = time.time()
elapsed_time = end_time - start_time
print(elapsed_time)

Dockerfile

FROM python

WORKDIR /calculator

COPY ./test.py ./test.py
COPY ./requirements.txt ./requirements.txt

RUN apt-get update
RUN apt-get install -y pip
RUN pip install --upgrade pip
RUN pip install --no-cache-dir -r requirements.txt

CMD ["python3", "test.py"]

requirements.txt

scipy
numpy

核心原因分析 #

1. 依赖环境优化差异
   本地通常使用Anaconda或其他预编译科学计算环境，numpy/scipy默认绑定MKL等高性能BLAS/LAPACK库，内存管理和计算效率经过深度优化；而官方python镜像基于Debian，pip安装的numpy/scipy可能使用未优化的OpenBLAS甚至纯Python实现，处理大数组插值时内存占用会急剧膨胀。

2. 依赖版本不匹配
   本地的numpy/scipy版本可能包含内存优化补丁，而容器中自动安装的最新版或未经筛选的版本，在插值过程中的内存分配策略存在缺陷，导致内存占用飙升。

3. 容器内存调度逻辑
   Docker容器的内存分配与宿主机的内存管理逻辑不同，宿主机的内存回收机制更高效，而容器内的内存页缓存策略可能导致已使用内存无法及时释放，进而占用大量交换空间。

解决方案 #

1. 使用优化后的基础镜像
   替换Dockerfile的基础镜像为带预编译科学计算库的镜像，比如Miniconda：

   FROM continuumio/miniconda3
   
   WORKDIR /calculator
   
   COPY ./test.py ./test.py
   COPY ./requirements.txt ./requirements.txt
   
   RUN conda install --yes --file requirements.txt
   # 也可指定具体版本
   # RUN pip install --no-cache-dir numpy==1.26.0 scipy==1.11.3
   
   CMD ["python", "test.py"]
   

2. 固定依赖版本
   在requirements.txt中指定与本地环境一致的numpy、scipy版本，避免版本差异带来的内存问题：

   numpy==1.26.0
   scipy==1.11.3
   

3. 代码层面优化
   对6000*6000的大采样数组分批次处理插值，降低单次内存占用：

   # 替换原插值代码段
   batch_size = 100000
   interpolated_thicknesses = []
   for i in range(0, len(sampled_angles), batch_size):
       batch_angles = sampled_angles[i:i+batch_size]
       batch_alt = sampled_altitude[i:i+batch_size]
       interpolated_thicknesses.extend(interp(batch_angles, batch_alt))
   interpolated_thicknesses = np.array(interpolated_thicknesses)
   

4. 临时内存限制（缓解用）
   运行容器时添加内存限制参数，避免无限制占用系统资源：

   docker run --memory=8g --memory-swap=12g your-image-name
   

内容的提问来源于stack exchange，提问作者Timothée Billiet