PySpark SQL可查询本地Delta Lake，远程查询失败求助

1. 配置独立Hive Metastore（核心方案） #

Spark默认内置的Derby元数据库是单进程模式，仅支持本地单JVM访问，这是远程客户端查不到表的根本原因。必须配置独立的Hive Metastore实现元数据共享：

• 在Ubuntu集群上部署MySQL作为元数据存储：

  -- 登录MySQL执行
  CREATE DATABASE metastore;
  CREATE USER 'hiveuser'@'%' IDENTIFIED BY 'your_password';
  GRANT ALL PRIVILEGES ON metastore.* TO 'hiveuser'@'%';
  FLUSH PRIVILEGES;
  

• 安装MySQL JDBC驱动：下载对应版本的mysql-connector-java-8.0.x.jar，放到Spark安装目录的jars文件夹下。
• 配置Spark的Hive参数：在Spark的conf目录下新建hive-site.xml，添加以下内容：

  <configuration>
    <property>
      <name>javax.jdo.option.ConnectionURL</name>
      <value>jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true&useSSL=false</value>
    </property>
    <property>
      <name>javax.jdo.option.ConnectionDriverName</name>
      <value>com.mysql.cj.jdbc.Driver</value>
    </property>
    <property>
      <name>javax.jdo.option.ConnectionUserName</name>
      <value>hiveuser</value>
    </property>
    <property>
      <name>javax.jdo.option.ConnectionPassword</name>
      <value>your_password</value>
    </property>
    <property>
      <name>hive.metastore.uris</name>
      <value>thrift://10.5.129.21:9083</value>
    </property>
    <property>
      <name>hive.metastore.warehouse.dir</name>
      <value>/home/ubuntu/spark-warehouse</value>
    </property>
  </configuration>
  

• 初始化元数据库：

  schematool -initSchema -dbType mysql
  

• 启动Hive Metastore服务：

  hive --service metastore &
  

• 修改Windows客户端的SparkSession配置：

  from pyspark.sql import SparkSession
  
  spark = SparkSession.builder.\
      master("spark://10.5.129.21:7077").\
      appName("TestApp").\
      enableHiveSupport().\
      config("hive.metastore.uris", "thrift://10.5.129.21:9083").\
      config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension").\
      config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog").\
      config("spark.jars.packages", "io.delta:delta-core_2.12:2.0.0").\
      getOrCreate()
  

  注：无需再设置spark.sql.warehouse.dir，元数据库已统一指定仓库路径。

2. 临时方案：直接加载Delta表路径 #

如果暂时不想配置元数据库，可通过路径直接加载表数据，但无法通过spark.catalog.listTables查看表（因为元数据未注册到metastore）：

# 若集群使用HDFS，替换为HDFS路径
df = spark.read.format("delta").load("file:///home/ubuntu/spark-warehouse/loans_delta_method_2")

3. 版本一致性检查 #

确保Windows客户端与Spark集群使用的Delta Lake版本完全一致（均为2.0.0），可将Delta的jar包手动放置到集群的jars目录，避免动态下载导致版本不兼容。

4. 路径配置误区澄清 #

• 远程连接时，spark.sql.warehouse.dir是集群节点上的路径，而非Windows本地路径，设置/home/ubuntu/spark-warehouse是正确的，前提是集群所有节点可访问该路径（单节点集群无问题，多节点需用NFS/HDFS共享）。
• 本地文件系统路径需用file:///前缀（三个斜杠），格式为file:///home/ubuntu/spark-warehouse。

内容的提问来源于stack exchange，提问作者JoyfulPanda