如何调试Jupyter内核崩溃问题？已排查常见原因仍未解决

问题背景 #

运行代码时Jupyter内核反复崩溃，已排查以下常见原因：

• 资源问题：相同代码在终端可正常运行，排除内存不足等资源限制
• 依赖版本：搭建干净conda环境，仅安装所需包和JupyterLab，终端运行正常但Jupyter内核崩溃
• 代码兼容性：代码在Google Colab可正常运行

当前Jupyter启动终端仅显示警告（为崩溃后提示而非原因），日志如下：

[I 2022-10-21 14:51:48.529 ServerApp] Kernel started: e349c5e3-4093-4819-a875-e3db160ab9a2
[IPKernelApp] WARNING | WARNING: attempted to send message from fork
{'header': {'msg_id': '15084d90-ffcf60cac3fd86458a3a278b_24082_66', 'msg_type': 'input_request', 'username': 'lhk', 'session': '15084d90-ffcf60cac3fd86458a3a278b', 'date': datetime.datetime(2022, 10, 21, 12, 52, 2, 178626, tzinfo=datetime.timezone.utc), 'version': '5.3'}, 'msg_id': '15084d90-ffcf60cac3fd86458a3a278b_24082_66', 'msg_type': 'input_request', 'parent_header': {'date': datetime.datetime(2022, 10, 21, 12, 51, 51, 700000, tzinfo=tzutc()), 'msg_id': 'abf35780-210e-4864-b9a0-739e6daf3dcb', 'msg_type': 'execute_request', 'session': '6a491242-4ae1-4388-b493-b4f0decd0dd4', 'username': '', 'version': '5.2'}, 'content': {'prompt': '', 'password': False}, 'metadata': {}}
[I 2022-10-21 14:52:03.529 ServerApp] AsyncIOLoopKernelRestarter: restarting kernel (1/5), new random ports

需求：

1. 如何调试Jupyter内核崩溃？
2. 能否开启更详细的日志？

调试内核崩溃的方法 #

1. 开启详细内核日志 #

• 临时启动调试模式：终端执行以下命令启动Jupyter Lab，直接输出详细日志：

  jupyter lab --debug
  

• 修改内核配置持久化调试：找到目标内核的配置文件（路径通常为~/.jupyter/kernels/[你的内核名]/kernel.json），在argv列表末尾添加--debug参数，示例：

  {
    "argv": [
      "/path/to/your/conda/env/bin/python",
      "-m",
      "ipykernel_launcher",
      "-f",
      "{connection_file}",
      "--debug"
    ],
    "display_name": "your_env_name",
    "language": "python"
  }
  

• 查看独立内核日志文件：Jupyter会为每个内核生成单独日志，通过以下步骤查找：
  在Jupyter Lab的终端中执行：

  jupyter --paths
  

  找到data目录路径，内核日志通常存放在data/runtime/下，文件名包含对应内核的ID（如kernel-e349c5e3-4093-4819-a875-e3db160ab9a2.log）。

2. 代码拆分定位崩溃点 #

• 将代码拆分为多个单元格，逐个运行，定位到具体导致崩溃的代码块。
• 在关键步骤添加日志记录，使用Python标准库追踪执行流程：

  import logging
  logging.basicConfig(level=logging.DEBUG)
  
  logging.debug("开始执行模型加载步骤")
  # 此处为待测试代码
  logging.debug("模型加载步骤执行完成")
  

3. 处理fork操作冲突 #

日志中出现WARNING: attempted to send message from fork，说明代码中存在fork操作，与Jupyter内核的通信机制冲突：

• 修改代码逻辑，替换fork为线程或其他进程管理方式。
• 临时禁用内核的fork安全检查（仅用于测试，不推荐生产环境）：
  在代码开头添加：

  import os
  os.environ['JUPYTER_ALLOW_INSECURE_WRITES'] = '1'
  

4. 验证内核配置正确性 #

• 确认当前使用的内核为目标conda环境：在Jupyter Lab右上角检查内核名称，若不符则切换到对应环境的内核。
• 重新安装ipykernel：在conda环境中执行以下命令，确保内核与环境绑定正确：

  conda install -y ipykernel
  python -m ipykernel install --user --name=your_env_name
  

开启全局详细日志的步骤 #

1. 生成Jupyter配置文件（若未生成）：

   jupyter lab --generate-config
   

2. 打开配置文件（通常路径为~/.jupyter/jupyter_lab_config.py），修改以下配置项：

   # 设置日志级别为DEBUG
   c.ServerApp.log_level = 'DEBUG'
   # 可选：指定日志文件路径，避免终端日志过多
   c.ServerApp.log_file = '/path/to/your/custom/log.log'
   

3. 重启Jupyter Lab，即可获取服务器与内核交互的详细日志。

内容的提问来源于stack exchange，提问作者lhk