Spark KryoSerializer缓冲区溢出：配置不生效且设置后无法查看值

嘿，针对你遇到的问题——既有的通用方案不管用，还卡在Spark Shell里设置Kryo配置后看不到值，我来给你梳理下关键点：

为什么你查不到设置的配置？ #

Spark Shell启动时已经自动帮你初始化了sc（SparkContext）和spark（SparkSession）对象。如果你只是新建一个SparkConf实例并设置参数（比如你写的conf.set("spark.kryoserializer.buffer.max","2048")），这个配置完全是独立的，根本没关联到当前正在运行的Spark上下文，所以用spark.sqlContext.getAllConfs自然查不到——这个方法返回的是当前Session实际加载的配置，不是你那个孤立的SparkConf里的内容。

正确的设置+查看姿势 #

1. 修改当前SparkContext的配置：
   直接操作Shell里已有的sc对象的配置，这样设置才会生效：

   // 注意加上单位！默认是字节，2048字节太小了，这里用m表示MB
   sc.getConf.set("spark.kryoserializer.buffer.max", "2048m")
   

2. 验证配置是否生效：
   别再用sqlContext.getAllConfs了，换这两种方式：

   // 从SparkContext的配置里读
   sc.getConf.get("spark.kryoserializer.buffer.max")
   // 或者从SparkSession里读
   spark.conf.get("spark.kryoserializer.buffer.max")
   

   配置成功的话，这两个命令都会返回你设置的2048m。

关于通用方案无效的额外排查点 #

既然常规方法对你没用，建议你检查这几个地方：

• Spark版本兼容性：老版本的Spark可能用的是废弃的参数spark.kryoserializer.buffer.mb，而不是spark.kryoserializer.buffer.max，确认下你的版本对应参数。
• 全局配置覆盖：看看spark-defaults.conf里有没有预先设置这个参数，全局配置会优先于你在Shell里的设置。可以先跑sc.getConf.getAll列出所有生效配置，排查是否被覆盖。
• Kryo是否启用：确保你已经开启了Kryo序列化，设置spark.serializer=org.apache.spark.serializer.KryoSerializer，不然Kryo的配置根本不会生效。

内容的提问来源于stack exchange，提问作者knowone