使用Geomesa PySpark初始化Spark SQL会话时报JavaPackage不可调用错误

核心原因 #

该TypeError: 'JavaPackage' object is not callable报错的本质是PySpark的JVM运行环境未成功加载Geomesa对应的Java类，导致spark._jvm.org.apache.spark.sql.SQLTypes被识别为普通Java包对象，而非可调用的类实例。结合给出的环境信息，具体诱因包括：

• Scala版本冲突：PySpark 2.4.8默认基于Scala 2.11编译，若本地存在其他版本的全局Scala环境，会干扰类加载逻辑。
• 依赖配置错误：使用相对路径指定Jar包时，若脚本运行工作目录变动会导致Jar加载失败；同时手动引入的geomesa-spark-sql_2.11-2.4.0.jar已经包含在geomesa-accumulo-spark-runtime包中，重复引入同版本Jar会触发类冲突。
• 版本不匹配：geomesa_pyspark版本、Geomesa Jar包版本、PySpark版本三者需要严格对应，任意一方小版本不一致都会导致类加载失败。
• 环境冲突：若conda环境中存在多版本PySpark，或者Spark全局jars目录下存在其他版本的Geomesa相关包，都会导致依赖冲突。
• JDK版本不兼容：Geomesa 2.4.0仅支持JDK 8，使用JDK 11及以上版本会直接出现类加载失败。

排查解决步骤 #

1. 修正Jar配置 #

• 将所有Jar的相对路径替换为绝对路径，避免工作目录变动导致的加载失败。
• 移除重复的geomesa-spark-sql_2.11-2.4.0.jar依赖，仅保留geomesa-accumulo-spark-runtime_2.11-2.4.0.jar和postgresql-42.3.1.jar即可。

2. 验证类加载状态 #

初始化SparkSession之后、调用init_sql之前，插入以下测试代码验证JVM是否能正常找到目标类：

print(spark._jvm.Class.forName("org.apache.spark.sql.SQLTypes"))

如果该代码执行报错，说明Jar包未成功加载，继续执行后续排查步骤；如果能正常输出类信息，说明是geomesa_pyspark安装包损坏，直接重新安装对应版本的geomesa_pyspark即可解决问题。

3. 清理环境冲突 #

• 执行pip show pyspark确认当前conda环境中的PySpark版本确实为2.4.8，卸载其他冗余的PySpark版本。
• 检查PySpark安装目录下的jars文件夹，删除所有Geomesa相关的Jar包，避免全局依赖和手动指定的Jar冲突。
• 确认当前使用的JDK版本为1.8，若版本过高切换到JDK 8后再重新运行代码。

4. 调整初始化逻辑 #

若上述步骤都无法解决问题，可以放弃使用geomesa_pyspark自带的configure方法，直接手动配置Spark参数，避免配置被覆盖：

from pyspark.sql import SparkSession
import geomesa_pyspark

spark = (SparkSession
    .builder
    .appName('MyTestApp')
    .master('local')
    .config('spark.jars', '/绝对路径/geomesa-accumulo-spark-runtime_2.11-2.4.0.jar,/绝对路径/postgresql-42.3.1.jar')
    .config('spark.driver.memory', '15g')
    .config('spark.executor.memory', '15g')
    .config('spark.default.parallelism', '10')
    .config('spark.sql.shuffle.partitions', '10')
    .getOrCreate()
)

geomesa_pyspark.init_sql(spark)

内容的提问来源于stack exchange，提问作者user3222101