本地Spark SQL读取AWS Glue注册的DeltaLake表失败求助

1. 修正SparkSession配置，指定默认Catalog为AWS Glue #

问题核心是当前配置未将Glue设为默认元存储，导致Spark fallback到本地Hive metastore。修改后的配置如下：

val spark = SparkSession.builder()
      .appName("GlueDeltaLakeExample")
      .master("local")
      // 禁用本地Hive metastore，指定Glue为默认Catalog
      .config("spark.sql.catalogImplementation", "in-memory")
      .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog")
      .config("spark.sql.catalog.spark_catalog.region", "eu-west-3")
      // Delta扩展配置
      .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension")
      // 可选：保留自定义Glue Catalog实例
      .config("spark.sql.catalog.glue", "org.apache.spark.sql.delta.catalog.DeltaCatalog")
      .config("spark.sql.catalog.glue.region", "eu-west-3")
      // Glue元存储客户端配置
      .config("spark.hadoop.hive.metastore.client.factory.class", "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory")
      .getOrCreate()

2. 确保依赖包完整 #

本地运行时必须包含以下核心依赖（以Maven为例）：

<dependencies>
    <dependency>
        <groupId>io.delta</groupId>
        <artifactId>delta-core_2.12</artifactId>
        <version>2.4.0</version> <!-- 匹配你的Spark版本 -->
    </dependency>
    <dependency>
        <groupId>com.amazonaws</groupId>
        <artifactId>aws-java-sdk-glue</artifactId>
        <version>1.12.500</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-aws</artifactId>
        <version>3.3.4</version> <!-- 匹配你的Hadoop版本 -->
    </dependency>
</dependencies>

3. 修正查询语句（二选一） #

• 若已将Glue设为默认Catalog，直接使用原查询：

  val df = spark.sql("SELECT * FROM example.orders limit 10")
  

• 若保留自定义glue Catalog实例，查询时需指定Catalog名称：

  val df = spark.sql("SELECT * FROM glue.example.orders limit 10")
  

4. 验证环境变量有效性 #

确保环境变量无语法错误且生效：

• Linux/macOS终端：

  export AWS_ACCESS_KEY_ID=xxxx
  export AWS_DEFAULT_REGION=eu-west-3
  export AWS_SECRET_ACCESS_KEY=xxx
  

• Windows命令行：

  set AWS_ACCESS_KEY_ID=xxxx
  set AWS_DEFAULT_REGION=eu-west-3
  set AWS_SECRET_ACCESS_KEY=xxx
  

也可直接在Spark配置中添加AWS凭证（仅本地测试用，生产环境不推荐）：

.config("spark.hadoop.fs.s3a.access.key", "xxxx")
.config("spark.hadoop.fs.s3a.secret.key", "xxx")
.config("spark.hadoop.fs.s3a.endpoint", "s3.eu-west-3.amazonaws.com")

内容的提问来源于stack exchange，提问作者dnsh