用master('yarn')构建SparkSession极慢，换master('local')有何差异与影响？

一、核心差异 #

1. 运行载体完全不同 #

• master('yarn')：把Spark任务放到多机器组成的YARN集群上执行。相当于找一个团队一起干活，需要先跟集群的调度系统申请资源（CPU、内存），如果集群里其他任务占满了资源，你的任务就得排队等着——这就是你之前运行耗时极久的大概率原因。
• master('local')：直接在**你自己的电脑（本地）**上跑任务，只用单台机器的资源，不用跟集群打交道，启动就运行，没有排队环节。

2. 资源调度逻辑不一样 #

• 用YARN模式时，Spark会根据任务需求向集群申请多个executor（可以理解为干活的小进程），调度系统会分配空闲机器给你；如果集群负载高，就只能等别人用完资源。
• 用local模式时，所有计算都在本地机器的进程里完成，资源是固定的（就是你电脑的CPU核数和内存），没有外部调度，启动速度快，但能力上限就是你单台机器的性能。

二、对项目的实际影响 #

1. 适用场景天差地别 #

• 小数据量测试、开发调试：用local完全够用，甚至更方便——不用依赖集群，启动快，出问题也好排查。
• 生产环境大数据处理：必须用yarn（或其他集群模式），单台机器根本扛不住海量数据，而且集群有容错机制（比如某台机器挂了，任务会自动转到其他机器续跑），local模式做不到这点。

2. 潜在风险不同 #

• 用local的风险：如果后续数据量变大，你的电脑可能会内存溢出、卡顿甚至死机，直接导致任务失败。
• 用yarn的风险：偶尔会遇到资源排队，但集群能支撑大规模计算，稳定性和容错性远高于local模式。

3. 你这次切换的合理性 #

这次切到local能成功，说明当前处理的数据量不大，或者你的本地机器性能足够应付。但如果之后要处理更大规模的数据，还是得切回yarn模式，或者排查下集群的资源情况（比如是不是有其他大任务在占用资源，或者集群配置需要调整）。

内容的提问来源于stack exchange，提问作者biyazelnut