Azure Databricks中PySpark执行PostgreSQL查询遇Py4JJavaError求助

问题出在spark.read.jdbc的table参数使用方式上：直接传入SELECT语句时，Spark会将其当作表名处理，导致PostgreSQL解析时触发语法错误。正确的做法是将查询语句用括号包裹并指定临时别名。

修正后的代码 #

spark = SparkSession.builder.appName("ReadFromPostgreSQL").getOrCreate()

url = "jdbc:postgresql://localhost:5432/database_example"

properties = {"user": "postgres", "password": "1234", "driver": "org.postgresql.Driver"}

# 将查询语句用括号包裹并添加临时别名
query = "(SELECT * FROM arpan.check_master_planning_family) AS tmp_table"

jdbcDF = spark.read.jdbc(url=url, table=query, properties=properties)

关键说明 #

• Spark的JDBC接口中，table参数既可以接受表名，也可以接受子查询，但子查询必须用括号包裹并赋予别名，否则PostgreSQL会把SELECT语句识别为无效表名，引发语法错误。
• 确保Azure Databricks集群已安装PostgreSQL JDBC驱动（org.postgresql.Driver），若未安装，可通过Databricks库管理功能添加对应驱动包。

内容的提问来源于stack exchange，提问作者Arpan Ghimire