如何在Amazon EMR JupyterLab中注册Apache Sedona SQL函数？

你的问题根源在于Spark配置中仅启用了Delta Lake的扩展，覆盖了Apache Sedona所需的SQL扩展注册，导致Sedona的空间函数（如ST_Distance）未被加载到Spark会话中。

解决方案：合并Delta与Sedona的Spark扩展配置 #

修改你的%%configure配置，将Sedona的SQL扩展与Delta的扩展通过逗号分隔同时配置，确保两者的扩展都能被Spark加载：

%%configure -f
{
  "conf": {
    "spark.sql.extensions": "io.delta.sql.DeltaSparkSessionExtension,org.apache.sedona.sql.SedonaSqlExtensions,org.apache.sedona.viz.sql.SedonaVizExtensions",
    "spark.sql.catalog.spark_catalog": "org.apache.spark.sql.delta.catalog.DeltaCatalog"
  }
}

说明： #

• org.apache.sedona.sql.SedonaSqlExtensions负责注册核心的Sedona空间SQL函数（如ST_Distance、ST_GeomFromWKT）
• org.apache.sedona.viz.sql.SedonaVizExtensions是可选配置，若无需使用Sedona可视化相关函数可移除
• 用逗号分隔多个扩展类，确保Spark同时加载Delta和Sedona的扩展逻辑

执行上述配置后，Spark会话会自动重启，此时再运行你的空间SQL查询即可正常解析Sedona函数。

内容的提问来源于stack exchange，提问作者Hongbo Miao