Jupyter Notebook/Labs长期运行UI冻结但代码仍执行的问题求助

核心定位 #

UI挂起但内核代码正常运行，本质是前端与内核的websocket通信链路阻塞/中断，和数据量、系统睡眠无关（已排除），问题出在Jupyter的状态同步、通信配置或任务调度方式上。

快速缓解方案 #

• 关掉自动保存：Jupyter默认的自动保存会频繁触发内核与前端的状态同步，长时间运行的任务会积累通信负载。在Notebook/Lab设置里把自动保存改成「从不」，手动按需保存即可。
• 禁止单元格输出：哪怕是少量print/log，频繁输出会占满前端通信缓冲区。把所有日志、输出重定向到本地文件，比如用logging模块写入日志文件，彻底切断前端输出链路。
• 只重启前端不碰内核：UI冻结时，直接关闭浏览器标签/桌面端窗口，重新打开Jupyter页面，选择「重新连接」即可恢复UI，后台任务不会中断（Jupyter会保留内核会话）。

深层根治方案 #

1. 换掉%store魔法命令
   %store依赖IPython的全局状态同步，每秒调用一次会频繁触发内核与前端的状态同步，很容易阻塞链路。替代方案：

   • 用multiprocessing.Manager()创建共享字典，三个任务直接共享内存数据，完全绕开%store的状态同步。
   • 或者把字典写入本地JSON文件，用fcntl（Mac下）加文件锁保证读写安全，每秒读取一次文件而非调用%store。

2. 优化异步任务调度

   • 前两个websocket任务：不要直接在单元格跑asyncio.run()，用nest_asyncio允许嵌套事件循环，避免阻塞内核的I/O线程：

     import nest_asyncio
     nest_asyncio.apply()
     # 再启动你的asyncio任务
     

   • 第三个CSV写入任务：把每秒执行改成每2秒（和websocket拉取频率对齐），减少内核上下文切换和通信触发的频率。

3. 调整Jupyter通信配置
   修改Jupyter配置文件，增大websocket缓冲区、缩短心跳间隔，避免连接超时：

   • 先生成配置文件：

     # Notebook用户
     jupyter notebook --generate-config
     # Lab用户
     jupyter lab --generate-config
     

   • 打开生成的配置文件，添加/修改以下配置：

     c.NotebookApp.websocket_max_message_size = 1024*1024*10  # 增大到10MB，避免消息溢出
     c.NotebookApp.websocket_ping_interval = 30  # 每30秒发一次心跳，保持连接活跃
     c.NotebookApp.websocket_ping_timeout = 120
     

4. 隔离内核环境
   三个任务共用同一个Anaconda内核可能存在状态污染，给每个任务单独创建conda虚拟环境，启动对应内核，避免相互干扰：

   conda create -n ws_puller python=3.9.13
   conda activate ws_puller
   conda install ipykernel
   python -m ipykernel install --user --name ws_puller --display-name "WebSocket Puller"
   

5. 彻底脱离Jupyter UI
   把三个任务写成独立Python脚本，用nohup或tmux在后台运行，完全避开Jupyter的UI通信问题：

   # 后台运行第一个websocket拉取脚本
   nohup python ws_puller_1.py > puller1.log 2>&1 &
   # 后台运行第二个websocket拉取脚本
   nohup python ws_puller_2.py > puller2.log 2>&1 &
   # 后台运行CSV写入脚本
   nohup python csv_writer.py > writer.log 2>&1 &
   

   要监控输出的话，用tail -f puller1.log实时查看即可。

逐步排查思路 #

• 看Jupyter debug日志：启动时加--debug参数，日志会记录websocket连接、消息传递的细节，能定位到是哪一步阻塞了通信。
• 测试单个任务：先单独跑一个Notebook，看是否还会UI挂起，排查是单个任务的问题还是多任务交互导致的。
• 检查系统网络：Mac的防火墙、代理可能会中断本地websocket连接（Jupyter用localhost通信），关掉不必要的代理或防火墙规则。
• 升级组件：旧版本Jupyter存在长时间运行的已知bug，升级到最新稳定版：

  conda update notebook jupyterlab ipython
  

内容的提问来源于stack exchange，提问作者formerlolz