PySpark使用SQL直接查询S3中Delta格式数据失败求助

问题原因 #

报错Py4JError: Method sql([class java.lang.String, class java.util.HashMap]) does not exist是因为PySpark在解析带反引号的S3路径时，错误生成了包含额外参数的方法调用，而Scala的Spark SQL解析逻辑无此问题。

解决方案 #

1. 先加载数据再注册临时视图 #

利用已验证可行的spark.read.format("delta").load()读取数据，注册临时视图后通过SQL查询：

delta_df = spark.read.format("delta").load("s3://data-lake/data")
delta_df.createOrReplaceTempView("delta_data")
result_df = spark.sql("SELECT * FROM delta_data")

2. 调整SQL语句中的路径写法 #

避免反引号导致的解析异常，改用单引号或双引号包裹路径：

# 单引号包裹路径
result_df = spark.sql("SELECT * FROM delta.'s3://data-lake/data'")
# 外层单引号，内层双引号
result_df = spark.sql('SELECT * FROM delta."s3://data-lake/data"')

3. 确认版本兼容性 #

检查EMR镜像中Delta Lake与PySpark 3.4.0的版本匹配性，执行以下命令查看Delta版本：

import delta
print(delta.__version__)

若版本不兼容，需调整镜像中的Delta依赖。

4. 初始化SparkSession时添加Delta配置 #

确保Spark SQL能正确识别Delta格式的路径：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("DeltaSQLQuery") \
    .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
    .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog") \
    .getOrCreate()

内容的提问来源于stack exchange，提问作者Jon Archer