Spark Java调用ST_GeomFromText报错：函数未定义求助

你遇到的核心问题是：Spark默认SQL函数库并不包含GIS空间处理类的函数，ST_GeomFromText这类空间函数需要依赖专门的Spark空间扩展库才能使用。下面是一步步的解决方案：

1. 引入空间处理库依赖 #

最常用且成熟的选择是Apache Sedona（原GeoSpark），它为Spark提供了完整的空间SQL函数支持。如果你的Java项目用Maven管理，在pom.xml中添加以下依赖（注意匹配你的Spark版本，示例以Spark 3.3为例）：

<dependency>
    <groupId>org.apache.sedona</groupId>
    <artifactId>sedona-spark-shaded-3.3_2.12</artifactId>
    <version>1.4.1</version>
</dependency>
<dependency>
    <groupId>org.datasyslab</groupId>
    <artifactId>geotools-wrapper</artifactId>
    <version>1.4.1-28.2</version>
</dependency>

2. 注册Sedona空间函数到SparkSession #

在你的Java代码中，初始化SparkSession后，必须注册Sedona的SQL函数，这样Spark才能识别ST_GeomFromText这类空间函数：

import org.apache.sedona.sql.utils.SedonaSQLRegistrator;

// 初始化SparkSession
SparkSession sparkSession = SparkSession.builder()
        .appName("SpatialQueryDemo")
        .master("local[*]") // 生产环境请移除该配置
        .getOrCreate();

// 注册Sedona所有空间SQL函数
SedonaSQLRegistrator.registerAll(sparkSession);

3. 修正你的查询代码 #

你原来的SQL写法存在两个明显错误：

• 错误地尝试用字符串拼接DataFrame列，Spark SQL中直接引用列名即可，不需要拼接col()
• POINT的WKT格式错误，正确格式是POINT(longitude latitude)，不需要逗号和空字符串
• 另外，需要先将原始DataFrame注册为临时视图，才能在SQL中查询

修正后的代码示例：

// 假设你的原始DataFrame名为originalDf
originalDf.createOrReplaceTempView("geo_table");

// 执行正确的空间查询
DataFrame resultDf = sparkSession.sql("SELECT ST_GeomFromText(CONCAT('POINT(', longitude, ' ', latitude, ')')) AS point_geom FROM geo_table");

// 查看结果
resultDf.show();

如果你更倾向于用DataFrame API而非SQL字符串，也可以这样写：

import static org.apache.spark.sql.functions.*;

// 注册函数后，直接用DataFrame API生成空间列
DataFrame resultDf = originalDf.withColumn(
    "point_geom",
    expr("ST_GeomFromText(CONCAT('POINT(', longitude, ' ', latitude, ')'))")
);

额外注意事项 #

• 请根据你的Spark版本调整Sedona的版本号，Sedona官网提供了详细的版本兼容对照表
• 若你使用其他GIS扩展库（如PostGIS的Spark连接器），也需要对应注册该库的空间函数，但Sedona是目前最通用的Spark空间处理工具

内容的提问来源于stack exchange，提问作者HBoulmi