直接给你理清楚这个问题：单个Spark任务默认只会使用Executor上的一个核心，以单线程方式运行，不会自动利用Executor的所有可用核心。下面结合你的Azure Databricks场景详细拆解：

核心原理 #

Spark的并行计算是基于任务（Task）级别设计的：

• 一个Stage里的任务数量等于数据的分区数，每个任务对应处理一个分区的数据
• 每个任务会被分配到Executor的一个核心上，单线程执行该分区的所有操作
• 哪怕你的Executor有多个核心，单个任务也只会占用其中一个，剩下的核心会处于空闲状态

你的场景分析 #

你提到流水线里某个Stage只有单个任务，这说明你的input表只有1个分区（或者经过某些隐式操作后合并成了1个分区）。这个任务里的from_json反序列化操作是单线程执行的，所以哪怕你的Executor有多个核心，也只能用一个来处理整个数据集，这就是为什么任务耗时久。

解决办法：提升并行度 #

要让Executor的所有核心都参与工作，核心是增加任务数量，也就是增加数据分区数，具体可以这么做：

1. 读取数据后手动重分区 #

在读取input表之后，用repartition()指定分区数，建议设置为Executor的核心数（比如你的Executor有4核，就设为4）：

spark.read
  .table("input")
  .repartition(4) // 数字与Executor核心数保持一致
  .withColumn("Payload", from_json($"Payload", schema))
  .write
  .mode(SaveMode.Append)
  .saveAsTable("output")

2. 优化源表分区设计 #

如果input表是你可控的，建议直接给它设置合理的分区规则（比如按时间、业务字段分区），这样读取数据时天然就有多个分区，不需要额外执行repartition操作。

避坑提示：不要在单任务内手动搞多线程 #

虽然你可以在自定义UDF里实现多线程处理，但这并不推荐——Spark的设计逻辑就是通过任务并行来利用多核资源，手动在任务内加线程容易引发资源竞争，反而降低性能，还会让Spark的原生资源调度机制失效。

内容的提问来源于stack exchange，提问作者Molotch