CentOS 7环境下Jupyter Notebook多PID异常及服务器健康监控咨询

我之前在CentOS 7运维Jupyter Notebook的时候，也碰到过进程大量残留、数量异常的问题，结合自己的实践和社区经验，给你整理了对应的解决办法和监控方案：

首先得先解决当前的残留进程问题，再从根源上避免进程过度生成：

• 强制清理现有残留进程
  先把所有僵死的Jupyter相关进程一次性清理干净，用pkill命令最直接：

  # 清理当前用户下的所有jupyter进程
  pkill -u $USER -f jupyter
  # 如果需要清理所有用户的，去掉-u $USER（注意权限）
  pkill -f jupyter
  

  执行完后再用pgrep 'jupyter' | wc -l验证，应该会回到0或者正常的少量进程。

• 修改Jupyter启动参数，自动回收闲置内核
  你遇到的问题大概率是闲置内核没有自动退出——每个打开的笔记本会对应一个内核进程，关闭笔记本后如果内核没被回收，就会一直残留。可以在启动时添加内核闲置超时参数：

  jupyter notebook --KernelManager.cull_idle_timeout=300 --KernelManager.cull_interval=60
  

  解释一下：

  • cull_idle_timeout=300：内核闲置5分钟（300秒）就自动终止
  • cull_interval=60：每分钟检查一次闲置内核
    也可以把这些参数写到Jupyter配置文件里，避免每次启动都加：
  1. 生成配置文件（如果还没有）：jupyter notebook --generate-config
  2. 打开~/.jupyter/jupyter_notebook_config.py，找到并修改以下两行：

     c.KernelManager.cull_idle_timeout = 300
     c.KernelManager.cull_interval = 60
     

• 禁用不必要的扩展
  某些第三方Jupyter扩展可能会额外生成进程，先检查已安装的扩展：

  jupyter nbextension list
  jupyter serverextension list
  

  把不需要的扩展禁用，比如：

  jupyter nbextension disable <extension_name>
  jupyter serverextension disable <extension_name>
  

• 检查系统服务配置（如果Jupyter是后台服务）
  如果你把Jupyter做成了systemd服务，要确保服务的停止逻辑能正确杀掉所有子进程。修改你的systemd服务文件（比如/etc/systemd/system/jupyter.service），添加ExecStop命令：

  [Service]
  User=your_username
  ExecStart=/usr/bin/jupyter notebook --config=/home/your_username/.jupyter/jupyter_notebook_config.py
  ExecStop=/usr/bin/pkill -u your_username -f jupyter
  Restart=on-failure
  

  然后重新加载服务：systemctl daemon-reload，这样停止服务时会自动清理所有相关进程。

这里提供几种不同复杂度的监控方案，按需选择：

• 轻量脚本监控（适合快速排查）
  利用Jupyter内置的API端点获取状态，比如/api/status（需要带上你的访问token）。写个简单的shell脚本定期检查：

  #!/bin/bash
  JUPYTER_URL="http://localhost:8888"
  TOKEN="your_jupyter_token"
  # 获取当前运行的内核数
  RUNNING_KERNELS=$(curl -s "$JUPYTER_URL/api/status?token=$TOKEN" | grep -o '"kernels_running":[0-9]*' | cut -d: -f2)
  echo "当前运行的Jupyter内核数：$RUNNING_KERNELS"
  # 可以添加阈值告警，比如内核数超过20就发邮件
  if [ $RUNNING_KERNELS -gt 20 ]; then
    echo "Jupyter内核数异常，当前为$RUNNING_KERNELS" | mail -s "Jupyter健康告警" your_email@example.com
  fi
  

  把这个脚本加到crontab里，比如每小时运行一次：0 * * * * /path/to/your/monitor_script.sh

• 系统级进程监控
  直接监控Jupyter相关进程的数量，同样用脚本结合crontab：

  #!/bin/bash
  PROCESS_COUNT=$(pgrep jupyter | wc -l)
  if [ $PROCESS_COUNT -gt 30 ]; then
    echo "Jupyter进程数异常，当前为$PROCESS_COUNT" | mail -s "Jupyter进程告警" your_email@example.com
    # 可选：自动清理异常进程
    # pkill -u $USER -f jupyter
  fi
  

• 可视化监控（适合长期运维）
  用Prometheus+Grafana搭建可视化监控面板，步骤大致如下：

  1. 安装Jupyter的Prometheus扩展：pip install jupyter-prometheus
  2. 在Jupyter配置文件中启用扩展，添加以下内容：

     c.NotebookApp.server_extensions.append('jupyter_prometheus')
     c.PrometheusExporter.port = 8000
     

  3. 配置Prometheus采集Jupyter的metrics（在prometheus.yml中添加job）：

     - job_name: 'jupyter'
       static_configs:
         - targets: ['localhost:8000']
     

  4. 在Grafana中导入Jupyter的监控面板（可以用社区现成的模板），就能看到内核数量、内存使用、请求延迟等指标的可视化图表。

• 日志监控
  Jupyter的日志默认存放在~/.jupyter/logs/目录下，实时监控日志可以快速发现异常：

  tail -f ~/.jupyter/logs/jupyter_notebook.log
  

  也可以用日志收集工具（比如ELK）把日志集中管理，方便排查问题。

内容的提问来源于stack exchange，提问作者Ram