如何禁用SparkSession启动的所有网络服务？

我通过以下代码创建SparkSession：

import org.apache.spark.sql.SparkSession;

SparkSession spark = SparkSession.builder().master("local").getOrCreate();;

执行后会在本地启动两个服务，日志输出如下：

Successfully started service 'sparkDriver' on port 54230.
Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 54231.

是否可以完全禁用这两个服务，阻止它们启动？
我的需求是创建空DataFrame，然后使用org.apache.spark.sql.execution.datasources.parquet.SparkToParquetSchemaConverter将其转换为Parquet格式，这个操作应该不需要网络服务。

可行方案 #

1. 轻量化配置SparkSession，禁用网络服务

通过添加特定配置项，可以阻止Spark启动网络相关服务，同时满足创建空DataFrame的需求：

import org.apache.spark.sql.SparkSession;

SparkSession spark = SparkSession.builder()
    .master("local[0]")  // 0线程本地模式，避免启动执行器服务
    .config("spark.network.enabled", "false")  // 禁用全局网络服务
    .config("spark.blockManager.port", "-1")  // 阻止块管理器绑定端口
    .config("spark.shuffle.service.enabled", "false")  // 禁用shuffle服务
    .getOrCreate();

local[0]模式会让Spark完全在驱动进程内运行，不会启动额外执行器；配合后面的配置项，可以彻底阻止sparkDriver和NettyBlockTransferService这类网络服务启动。

2. 直接使用Schema转换器，跳过SparkSession初始化

如果你的核心需求只是Schema转换，完全不需要初始化完整的SparkSession——SparkToParquetSchemaConverter仅依赖Spark的Schema对象，不依赖运行时服务：

import org.apache.spark.sql.types.StructType;
import org.apache.spark.sql.execution.datasources.parquet.SparkToParquetSchemaConverter;
import org.apache.parquet.schema.MessageType;

// 定义空DataFrame的Schema
StructType sparkSchema = new StructType()
    .add("id", "int")
    .add("name", "string");

// 直接转换Schema
SparkToParquetSchemaConverter converter = new SparkToParquetSchemaConverter();
MessageType parquetSchema = converter.convert(sparkSchema);

这种方式完全避免了SparkSession带来的额外开销，自然不会启动任何网络服务，最贴合你的使用场景。

内容的提问来源于stack exchange，提问作者Jay