如何在Spark数据集、数据帧及Spark SQL中将自定义类作为原生数据类型使用？

其实不用硬啃UDT这门复杂技术，有几个更简单的方式就能满足你的需求，下面结合你的IPv4场景一步步说明：

方案1：提前生成计算列（最直接高效） #

既然你的核心需求是用IP转换后的数值addrL做过滤，不如先把IP字符串转换成数值列，再创建临时视图，这样SQL查询就和操作普通字段一样简单：

// 先定义IP转Long的工具函数
def ipv4ToLong(ip: String): Long = {
  ip.split("\\.").map(_.toLong)
    .zip(Seq(24, 16, 8, 0))
    .map { case (num, shift) => num << shift }
    .sum
}

// 读取JSON数据后，直接添加计算列
val IPv4DF = spark.read.json(path)
  .withColumn("addrL", udf(ipv4ToLong _).apply(col("ipAddress")))

IPv4DF.createOrReplaceTempView("IPv4")

// 直接用生成的列执行查询
spark.sql("SELECT * FROM IPv4 WHERE addrL > 100000").show()

这种方式完全基于Spark原生DataFrame操作，代码简单易懂，维护成本极低，不需要涉及任何自定义类型的复杂实现。

方案2：使用Dataset[IPv4]（利用样例类自动Encoder） #

如果你想保留IPv4样例类的封装逻辑，可以把DataFrame转换成Dataset，Spark会自动识别样例类的属性：

case class IPv4(ipAddress: String){ 
  val addrL: Long = ipv4ToLong(ipAddress) 
}

// 定义IP转换函数（和方案1一致）
def ipv4ToLong(ip: String): Long = {
  ip.split("\\.").map(_.toLong)
    .zip(Seq(24, 16, 8, 0))
    .map { case (num, shift) => num << shift }
    .sum
}

// 读取数据并转换成Dataset[IPv4]
val ipv4DS = spark.read.json(path).as[IPv4]

// 创建临时视图时，Spark会自动识别样例类的所有字段（包括addrL）
ipv4DS.createOrReplaceTempView("IPv4")

// 现在可以直接在SQL里访问addrL属性
spark.sql("SELECT * FROM IPv4 WHERE addrL > 100000").show()

这里的关键是as[IPv4]会借助Spark的自动Encoder，把DataFrame中的字符串列转换成IPv4对象实例，之后视图里的每条记录都是完整的IPv4实例，SQL就能直接访问它的addrL属性了。

为什么你的原代码会报错？ #

你原来的代码里，IPv4DF是读取JSON得到的DataFrame，其中ipAddress是字符串类型，而非IPv4类的实例。所以SQL里写ipAddress.addrL，相当于在字符串对象上访问不存在的addrL属性，自然会抛出错误。必须先把字符串转换成IPv4对象（比如用Dataset的as方法），或者提前计算出addrL列，才能在SQL中正常使用。

内容的提问来源于stack exchange，提问作者Hub