限制Imagemagick convert多并行进程的总内存占用

1. Imagemagick是否支持限制所有并行convert进程的总内存占用？ #

不支持。Imagemagick提供的所有资源限制配置（包括policy.xml中的memory、map等项，或是启动convert时通过-limit参数指定的限制）均仅针对单个进程生效，没有全局配置项可以统一限制所有并行运行的convert进程的总内存占用。

2. 在运行CentOS的Kubernetes Pod中如何实现总内存限制？ #

可以通过以下几种方案实现：

方案一：从源头控制并发请求数 #

通过限制API服务的并发处理数量，间接控制并行convert进程的总数，结合单个convert进程的内存限制来控制总内存：

• 若使用反向代理（如Nginx），可配置limit_req_zone限制每秒请求数，比如：

  limit_req_zone $binary_remote_addr zone=convert:10m rate=200r/s;
  server {
      location /resize {
          limit_req zone=convert burst=50;
          proxy_pass http://api-service;
      }
  }
  

• 在应用层控制并发：比如Python服务用Gunicorn设置--workers和--threads参数，Java服务调整线程池大小，确保同时处理的请求数对应的convert进程总内存不超过Pod资源上限。

方案二：利用Kubernetes Pod资源限制+进程OOM优先级调整 #

1. 给Pod设置内存上限，在Deployment的资源配置中添加：

   resources:
     limits:
       memory: "20Gi"
   

   当Pod内所有进程（API服务+所有convert子进程）总内存超过该值时，Kubernetes会触发OOM Killer。
2. 调整convert进程的OOM优先级，避免API服务被误杀：在启动convert后，立即执行命令降低其OOM分数（数值越低，越不容易被OOM杀掉）：

   convert input.jpg -resize 800x600 output.jpg &
   PID=$!
   echo -1000 > /proc/$PID/oom_score_adj
   wait $PID
   

方案三：使用cgroups统一限制进程组内存 #

在CentOS的Pod内，通过cgroups将API服务及其所有子进程（convert）纳入同一内存控制组，设置总内存上限：

1. 创建cgroup目录：

   mkdir -p /sys/fs/cgroup/memory/convert-group
   

2. 设置总内存限制（例如20GB）：

   echo 21474836480 > /sys/fs/cgroup/memory/convert-group/memory.limit_in_bytes
   

3. 将API服务进程加入该cgroup：

   echo $(pgrep api-server) > /sys/fs/cgroup/memory/convert-group/cgroup.procs
   

   此后API服务启动的所有convert子进程会自动继承该cgroup的内存限制，总内存不会超过设定值。

方案四：优化单个convert进程内存占用 #

降低单个convert进程的内存消耗，减少总内存压力：

• 在Imagemagick的policy.xml中添加单进程限制：

  <policy domain="resource" name="memory" value="256MiB"/>
  <policy domain="resource" name="map" value="512MiB"/>
  <policy domain="resource" name="disk" value="1GiB"/>
  

• 或者启动convert时直接指定参数：

  convert -limit memory 256MiB -limit map 512MiB input.jpg -resize 800x600 output.jpg
  

内容的提问来源于stack exchange，提问作者Swastik Gupta