VSCode调试模式下PySpark DataFrame动作死锁，求根治方案

• 调整VSCode调试配置（launch.json）
  在项目的.vscode/launch.json中添加或修改调试配置：

  {
      "version": "0.2.0",
      "configurations": [
          {
              "name": "Python: PySpark Debug",
              "type": "python",
              "request": "launch",
              "program": "${file}",
              "console": "externalTerminal",
              "env": {
                  "PYSPARK_PYTHON": "python",
                  "PYSPARK_DRIVER_PYTHON": "python",
                  "SPARK_LOCAL_IP": "127.0.0.1"
              },
              "redirectOutput": false
          }
      ]
  }
  

  核心作用：用外部终端规避内部终端的输出缓冲阻塞；统一PySpark的Python解释器路径，避免环境不一致；指定本地IP消除网络寻址冲突；关闭输出重定向减少调试器与Spark的IO交互冲突。

• 使用单线程本地模式初始化SparkSession
  初始化SparkSession时明确指定单线程本地模式：

  from pyspark.sql import SparkSession
  
  spark = SparkSession.builder \
      .master("local[1]") \
      .appName("DebugSession") \
      .getOrCreate()
  

  核心作用：多线程本地模式（如local[*]）易引发调试器线程与Spark工作线程的资源竞争，单线程模式可彻底避免这类竞争导致的死锁。

• 禁用PySpark自定义信号处理
  在代码最开头添加信号处理恢复逻辑：

  import signal
  # 恢复默认SIGINT信号处理，避免与调试器中断逻辑冲突
  signal.signal(signal.SIGINT, signal.SIG_DFL)
  

  核心作用：PySpark默认会重写SIGINT信号处理逻辑，与VSCode调试器的中断信号处理存在冲突，恢复默认处理可解决信号触发的死锁。

• 更新依赖至兼容稳定版

  • 将VSCode的Python插件（含Debugpy、Pylance）更新到最新稳定版
  • 将PySpark与Py4J版本更新至兼容组合（推荐PySpark 3.3.x搭配Py4J 0.10.9.x及以上）
    核心作用：旧版本调试器或PySpark存在已知兼容性bug，版本更新可直接修复这类死锁问题。

内容的提问来源于stack exchange，提问作者Dizzy2510