MacOS下JDK11、Python3.9、PyDeequ1.1.1对应PySpark兼容版本及报错咨询

推荐以下经过验证的兼容版本组合，可解决你遇到的"JAVA package not callable"错误：

• JDK 11 + PySpark 3.2.0 + PyDeequ 1.1.0
  这是PyDeequ官方适配的稳定组合，PyDeequ 1.1.0专门针对Spark 3.2.x分支开发，和JDK11的字节码兼容性良好，能避免Java包加载后的调用异常。

• JDK 8 + PySpark 3.1.2 + PyDeequ 1.0.1
  若环境允许降级JDK到8，这个组合稳定性拉满。Deequ对JDK8的支持最成熟，几乎不会出现跨版本的Java包调用问题。

额外注意事项：

• 确保PyCharm项目解释器的Python版本和Spark环境绑定的Python版本完全一致，避免依赖冲突。
• 安装PyDeequ时不要手动额外指定Deequ的Java依赖包，让PyDeequ自动拉取对应版本的依赖，否则极易出现版本不匹配。
• 启动Spark Session时无需手动添加Deequ的JAR包，PyDeequ会自动处理类路径注入。

内容的提问来源于stack exchange，提问作者user22881548