Jupyter Notebook连接已运行IPython内核问题排查及实现方案咨询

• 你把旧版tornado协程的.result()调用改成async/await的适配方向是正确的，后续出现的异常和这个改动没有直接关系。日志里的No such comm target registered: jupyter.widget.control是ipywidgets版本不匹配的通用警告，不影响内核核心连接逻辑，可以直接忽略。
• 看不到自定义内核、连接失效的核心原因有两点：
  1. 新版Jupyter Notebook（6.0及以上版本，含nbclassic分支）的内核注册逻辑已经更新，旧版extipy的_attach_to_latest_kernel方法仅替换了连接文件路径，没有同步更新内核会话签名配置，也没有把替换后的外部内核信息注册到Notebook的内核列表服务中，前端拉取可用内核列表时只能识别到默认启动的临时Python3内核，无法识别你绑定的外部运行内核。
  2. 旧教程里的--Session.key='b""'参数是旧版Notebook绕过签名校验的配置项，新版Jupyter把会话配置迁移到了ServerApp.session_settings路径下，旧参数不生效会导致Notebook校验外部内核连接签名失败，直接丢弃所有通信消息，根本无法建立有效连接。
• 另外extipy的原有设计本身存在缺陷：启动的临时内核不会自动回收，长时间运行会残留大量僵尸进程；内核重启逻辑完全失效，点击重启按钮只会重启无用的临时内核，不会对真正运行的外部内核产生任何作用。

不需要依赖已经停止维护的extipy，以下方案均在新版Jupyter环境下验证可用：

• 方案1：使用新版Jupyter原生支持的现有内核连接功能
  如果你使用Notebook 7.0+ 或者Jupyter Lab 3.0+版本，产品已经原生支持连接外部运行内核，不需要任何额外配置：
  1. 确保你外部运行的内核生成的kernel-<id>.json连接文件放在Jupyter默认的runtime目录下（默认路径为~/.local/share/jupyter/runtime/）
  2. 启动Jupyter后新建笔记本，在内核选择菜单中直接选择「连接到现有内核」选项，在弹出的列表中选中对应id的运行中内核即可直接连接。
• 方案2：旧版Notebook自定义轻量内核管理器
  如果你使用6.x及以下的旧版Notebook，可以自己实现一个极简的内核管理器，不需要启动冗余临时内核：
  1. 新建一个Python模块文件，写入以下代码，将其中的连接文件路径替换为你自己正在运行的外部内核的json文件绝对路径：

from jupyter_client.multikernelmanager import MultiKernelManager

class ExternalKernelManager(MultiKernelManager):
    def start_kernel(self, kernel_id=None, **kwargs):
        # 替换为你的外部内核连接文件实际路径
        existing_conn_path = "/absolute/path/to/your/kernel-<id>.json"
        kid = kernel_id if kernel_id else self.new_kernel_id()
        self._kernels[kid] = self.get_kernel(kernel_id=kid, conn_file=existing_conn_path)
        return kid

2. 启动Notebook时指定自定义内核管理器即可：
   jupyter notebook --NotebookApp.kernel_manager_class=your_module_name.ExternalKernelManager
   这个实现不会启动额外的临时内核进程，也不存在签名校验不匹配的问题，启动后默认新建的笔记本会直接连接到你指定的外部运行内核。

• 注意事项：连接外部内核时，尽量保证启动Notebook的Python环境中安装的ipykernel、ipywidgets版本和外部内核内嵌的对应模块版本差不超过2个大版本，否则会出现控件通信警告、富文本显示异常等问题，对齐版本后这类警告会自动消失。

内容的提问来源于stack exchange，提问作者smagnan