运行PySpark SQL查询时出现异常求助（AWS EMR+PyCharm远程环境）

问题背景 #

使用本地PyCharm作为远程解释器连接AWS EMR集群（Spark 3.3.1）运行基础PySpark代码时，执行spark.sql()抛出如下错误：

py4j.protocol.Py4JError: An error occurred while calling o61.sql. Trace:
py4j.Py4JException: Method sql([class java.lang.String, class java.util.HashMap]) does not exist

解决方案 #

1. 确保PySpark版本完全一致 #

本地远程解释器使用的PySpark版本必须与EMR集群的Spark 3.3.1完全匹配：

• 在EMR集群节点执行命令查看版本：

  spark-submit --version
  

• 在PyCharm远程解释器中执行代码验证版本：

  import pyspark
  print(pyspark.__version__)
  

• 若版本不一致，安装对应版本：

  pip install pyspark==3.3.1
  

2. 显式配置SparkSession #

避免本地模式与集群YARN模式的冲突，显式指定集群master地址：

from pyspark.sql import SparkSession

# 初始化SparkSession时指定YARN作为master
spark = SparkSession.builder \
    .master("yarn") \
    .appName("EMR-PySpark-Job") \
    .getOrCreate()

# 读取CSV文件（确保路径为EMR可访问的HDFS/S3路径或节点本地绝对路径）
df = spark.read.format("csv").option("header", "true").load("s3://your-bucket/path/location_temp.csv")
df.createOrReplaceTempView("location_temp")

# 执行SQL查询
data = spark.sql("select * from location_temp")
# 或直接使用DataFrame API替代SQL查询（可选）
# data = df.select("*")

3. 验证文件访问路径 #

确保location_temp.csv的路径是EMR集群可访问的路径：

• 若文件在S3，使用s3://bucket-name/path/to/file.csv格式
• 若文件在EMR节点本地，使用绝对路径如/home/hadoop/location_temp.csv
• 本地PyCharm中的文件需先上传至EMR集群的可访问位置

问题原因 #

报错核心是PySpark Python端尝试调用Java端的sql方法时传递了两个参数（字符串SQL语句和HashMap），但EMR集群上的Spark Java端仅支持单个字符串参数的sql方法。这种方法签名不匹配通常由本地PySpark版本与集群Spark版本不一致导致，或SparkSession初始化时未正确适配集群环境。

内容的提问来源于stack exchange，提问作者Nufar Dory