如何启动无Executor的轻量Spark Session？

当然可以只启动Driver JVM，完全不需要Executor——像读取Hive表Schema这类操作，本质只是和Hive Metastore交互元数据，根本不需要执行计算任务，完全可以跳过Executor的初始化流程。

下面是比你当前配置更轻量化的实现：

spark = (
    SparkSession
    .builder
    .enableHiveSupport()
    .master("local[0]")  # 不启动任何执行线程，仅在Driver进程内运行
    .config("spark.executor.instances", "0")  # 明确禁用Executor实例
    .config("spark.dynamicAllocation.enabled", "false")
    .config("spark.shuffle.service.enabled", "false")
    .config("spark.ui.enabled", "false")
    .config("spark.sql.hive.metastore.jars", "builtin")  # 使用Spark内置的Hive元数据JAR，避免加载额外依赖
    .getOrCreate()
)

关键优化点说明： #

• master("local[0]")：指定不启动任何执行线程，所有操作都在Driver进程内完成，彻底避免线程资源浪费。
• spark.executor.instances=0：明确告诉Spark不需要启动任何Executor，跳过Executor的资源申请、初始化等全部流程。
• 保留spark.dynamicAllocation.enabled=false和spark.shuffle.service.enabled=false：这两个服务都是为分布式计算准备的，元数据读取场景完全用不上，关闭后能大幅减少启动耗时。
• 保留spark.ui.enabled=false：关闭Spark UI的Web服务，避免不必要的端口占用和服务初始化开销。
• spark.sql.hive.metastore.jars=builtin：强制使用Spark内置的Hive元数据依赖包，避免自动下载或加载外部Hive组件，加快启动速度。

额外轻量化选项（按需添加）： #

如果你的场景只需要Hive元数据读取，还可以再加这些配置进一步压缩启动开销：

.config("spark.sql.extensions", "")  # 禁用所有非必要的SQL扩展
.config("spark.hadoop.fs.file.impl", "org.apache.hadoop.fs.LocalFileSystem")  # 强制使用本地文件系统，跳过分布式文件系统的初始化

这种配置下，Spark Session启动速度会非常快，完全满足你快速读取元数据的需求。

内容的提问来源于stack exchange，提问作者Zohar Meir