GeoSpark 1.3.1执行SQL查询后调用show()失败问题求助

从你给出的错误栈来看，这个ClassCastException: UTF8String cannot be cast to ArrayData问题的核心是你的geometry列数据类型不匹配——GeoSpark期望处理的是它原生的几何类型（或二进制WKB格式），但你的表中geometry列实际存储的是字符串（WKT格式），且没有正确转换为GeoSpark可识别的类型。

下面是具体的排查和解决步骤：

1. 先确认geometry列的数据类型 #

首先执行这两行代码，检查两张表的schema：

streetCrossDf.printSchema()
spatial_trace.printSchema()

如果输出里geometry列的类型是string，那这就是问题的根源——GeoSpark的ST_Within函数无法直接处理字符串格式的几何数据。

2. 转换字符串格式的几何列到GeoSpark原生类型 #

GeoSpark提供了ST_GeomFromWKT函数，可以把WKT字符串转换成它能识别的几何类型。你需要先转换两张表的geometry列，再重新注册临时视图：

// 导入GeoSpark SQL函数
import org.apache.spark.sql.geosparksql.expressions._

// 转换streetCrossDf的geometry列
val streetCrossWithGeom = streetCrossDf.withColumn("geometry", ST_GeomFromWKT($"geometry"))
// 转换spatial_trace的geometry列
val spatialTraceWithGeom = spatial_trace.withColumn("geometry", ST_GeomFromWKT($"geometry"))

// 重新注册临时视图，覆盖原来的视图名
streetCrossWithGeom.createOrReplaceTempView("streetCrossDf")
spatialTraceWithGeom.createOrReplaceTempView("spatial_trace")

3. 确保GeoSpark SQL函数已正确注册 #

在Zeppelin环境中，有时候需要显式注册GeoSpark的所有SQL函数，避免函数无法识别类型的问题。可以在代码开头加上这两行：

import org.datasyslab.geosparksql.utils.GeoSparkSQLRegistrator
GeoSparkSQLRegistrator.registerAll(spark)

4. 重新执行你的查询 #

现在再运行原来的SQL查询，应该就能正常执行并展示结果了：

val result = spark.sql(
"""SELECT * 
FROM spatial_trace, streetCrossDf 
WHERE ST_Within (streetCrossDf.geometry, spatial_trace.geometry)""".stripMargin)
result.show()

为什么会出现这个错误？ #

当你直接用字符串类型的geometry列调用ST_Within时，GeoSpark内部会尝试把字符串当作二进制WKB格式（存储为ArrayData）来解析，这就导致了类型转换失败。只有将WKT字符串转换为GeoSpark原生的几何类型后，函数才能正确处理空间关系判断。

内容的提问来源于stack exchange，提问作者Arnold