VS Code Databricks插件Debug模式执行Spark任务慢或卡顿问题咨询

• Debug和Run模式的核心差异
  Run模式是直接把代码提交到Databricks集群执行，本地仅做提交动作，几乎无额外开销；但Debug模式需要本地调试器和远端集群的Spark进程建立实时通信，逐行追踪代码执行状态，这本身会产生额外的网络传输和同步开销，尤其是处理大数据量的Spark操作时，延迟或卡顿是必然的，只是程度会受环境影响。

• 调整Spark执行参数适配Debug场景

  • 降低Shuffle分区数：默认spark.sql.shuffle.partitions是200，Debug时直接在代码开头加spark.conf.set("spark.sql.shuffle.partitions", "10")，减少分区数量就能降低调试器需要同步的任务数，缓解通信压力
  • 临时关闭缓存：如果代码里用了cache()或persist()，Debug时要么注释掉，要么加spark.conf.set("spark.sql.cache.enabled", "false")，避免缓存同步带来的额外开销
  • 用小数据集调试：直接给DataFrame加limit(1000)截取部分数据，别拿全量数据跑Debug，这能大幅减少执行时间

• 优化VS Code的Debug配置

  • 修改.vscode/launch.json里的Databricks Connect调试配置，添加这些环境变量：

    {
      "type": "databricks",
      "request": "launch",
      "name": "Debug with Databricks Connect",
      "program": "${file}",
      "env": {
        "DATABRICKS_DEBUG_VERBOSE": "false", // 关掉冗余日志，减少IO消耗
        "SPARK_LOCAL_IP": "你的本地IP地址" // 指定本地IP，避免网络寻址出错
      }
    }
    

  • 关掉VS Code里的自动附加调试功能（"Debug: Auto Attach"），防止无关进程干扰调试

• 检查网络与集群状态

  • 确认本地和集群的网络稳定性：Debug对网络延迟更敏感，如果是跨区域或者网络波动大的环境，卡顿概率会高很多，尽量换到和集群同区域的网络环境
  • 看集群资源是否够用：Debug前先检查集群的CPU、内存使用率，如果有其他大任务在跑，先停掉，避免Spark操作因为资源不足等待

内容的提问来源于stack exchange，提问作者skjagini