Jupyter Lab中PySpark内核启动脚本需先执行单元格的替代方案咨询

以下是几种无需先执行代码就能实现需求的方案：

1. 结合IPython配置与Jupyter模板扩展 #

为每个PySpark内核创建专属笔记本模板，通过Jupyter Lab扩展关联内核与模板：

• 为每个内核编写对应模板文件（如pyspark-hive-template.ipynb），在首单元格写入适配的SparkSession初始化代码。
• 安装jupyterlab-templates扩展，在Lab的设置面板中为每个内核指定默认模板。新建笔记本时，选择对应内核后会直接加载预定义模板，首单元格自动填充初始化代码。
• 若不想依赖扩展，可修改jupyter_notebook_config.py，配置内核的元数据关联模板路径，让启动器的内核选项直接指向对应模板。

2. 修改内核启动脚本，预生成初始化单元格 #

自定义内核启动脚本，绕过IPython的延迟执行限制：

• 编写启动脚本（如pyspark-delta-launcher.py），在启动ipykernel前，生成包含初始化代码的笔记本结构。
• 修改内核的kernel.json，将argv指向该自定义脚本。脚本中通过Jupyter的API，在笔记本启动时直接注入首单元格的初始化代码，无需等待用户执行操作。

3. IPython启动脚本配合自动触发执行 #

调整启动脚本逻辑，让内核启动时自动触发一次空执行以激活代码注入：

• 在对应内核的IPython配置文件目录（如profile_pysparkiceberg/startup/）下创建启动脚本00-spark-init.py：

  from IPython import get_ipython
  
  def inject_init_code():
      ip = get_ipython()
      init_code = """
      from pyspark.sql import SparkSession
      spark = SparkSession.builder \\
          .appName("PySpark-Iceberg-Session") \\
          .config("spark.sql.catalog.spark_catalog", "org.apache.iceberg.spark.SparkSessionCatalog") \\
          .config("spark.sql.catalog.spark_catalog.type", "hive") \\
          .getOrCreate()
      """
      ip.set_next_input(init_code, replace=True)
      # 注册后移除钩子，避免重复触发
      ip.events.unregister('post_run_cell', inject_init_code)
  
  ip = get_ipython()
  ip.events.register('post_run_cell', inject_init_code)
  # 自动执行空单元格触发钩子
  ip.run_cell('')
  

• 内核启动后会自动执行空单元格，触发post_run_cell钩子，将初始化代码填充到首编辑单元格。

4. 自定义Jupyter Lab扩展（进阶方案） #

编写轻量Lab扩展监听新建事件，按需插入代码：

• 监听Lab的notebookCreated事件，获取当前笔记本关联的内核ID，匹配对应的SparkSession初始化代码。
• 通过Jupyter Lab的Notebook API，将代码插入到第一个单元格。这种方式灵活性最高，但需要具备基础的前端开发能力（TypeScript）。

内容的提问来源于stack exchange，提问作者Gabriel Marques