使用StandardScaler时触发SparkException：任务无法序列化求助

嘿，我刚入门Spark和Scala的时候也踩过序列化的坑，太懂这种摸不着头脑的感觉了！结合你给出的操作步骤，我来帮你捋捋这个SparkException序列化问题的常见原因和解决办法：

Spark是分布式计算框架，Driver端的代码要把数据和逻辑分发到各个Executor节点执行，这就要求所有要跨节点传输的对象必须实现java.io.Serializable接口。你遇到的问题，大概率是某个被引用的对象没满足这个要求，或者在闭包（比如map/flatMap这类算子的代码块）里不小心引用了不可序列化的东西。

1. HiveContext的不当引用 #

你初始化了HiveContext，如果后续代码里在RDD的算子闭包里直接调用hiveCtx或者它内部的对象，肯定会触发序列化失败——因为HiveContext是Driver端的上下文实例，本身不可被序列化传输到Executor。

• 解决思路：
  • 优先用HiveContext把Hive数据加载成DataFrame/Dataset，然后用DataFrame的API做计算，避免在RDD算子里直接碰HiveContext；
  • 如果必须在RDD操作里关联Hive数据，小数据量的话可以提前把数据拉到Driver端再广播，大数据量的话建议先转成DataFrame做关联。

2. 闭包引用了不可序列化的外部变量 #

比如你在写map这类算子时，引用了自己定义的某个类的实例，但这个类没实现Serializable接口。

• 解决思路：
  • 让自定义类实现java.io.Serializable，比如：

    class MyBusinessClass extends Serializable {
      // 你的业务逻辑代码
    }
    

  • 如果是第三方类不可序列化，就把它的核心数据提取出来，转成Scala的Case Class（Case Class默认自带序列化能力）或者Tuple这类可序列化的结构再使用。

3. Spark-shell的特殊坑 #

在spark-shell里，我们定义的类、变量默认是挂在shell的主类下的，有时候会隐式引用一些shell环境里的大对象，导致序列化失败。

• 解决思路：
  • 把自定义类放在object里定义（Scala的单例对象默认可序列化）；
  • 写闭包的时候尽量只引用必要的变量，别把整个环境里的对象都带进去。

要是不确定到底是哪个对象搞的鬼，可以试试这两个方法：

1. 开启Kryo序列化，它会给出更详细的错误日志：

   sc.getConf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
   

2. 手动测试对象是否可序列化：

   import java.io._
   def checkSerializable(obj: Any): Boolean = {
     try {
       val outputStream = new ByteArrayOutputStream()
       val objectStream = new ObjectOutputStream(outputStream)
       objectStream.writeObject(obj)
       objectStream.close()
       true
     } catch {
       case _: Exception => false
     }
   }
   // 比如测试你的HiveContext
   checkSerializable(hiveCtx) // 这个肯定返回false，所以不能在闭包里用它
   

内容的提问来源于stack exchange，提问作者JoshuaW1990