本地开发AWS Glue Job时如何改用本地Hive元存储而非Glue数据目录

问题根源 #

你用的amazon/aws-glue-libs:glue_libs_3.0.0_image_01镜像默认把Spark的元存储绑定到了AWS Glue数据目录——就算你开了Hive支持、指定了warehouse目录，Glue的内置配置还是会优先生效，导致创建数据库时还是去调用真实AWS的Glue服务，自然会报安全令牌错误。

解决办法：强制切换到本地Hive元存储 #

要彻底绕开Glue Catalog，得在初始化Spark会话时覆盖几个关键配置，直接指定用本地Hive的元存储：

1. 改写SparkSession初始化代码 #

直接在代码里硬怼配置，把元存储实现改成hive，替换掉Glue的客户端工厂：

from pyspark.sql import SparkSession

# 初始化SparkSession，强制用Hive元存储
spark = SparkSession.builder \
    .appName("LocalGlueDev") \
    # 核心：指定元存储为Hive，而非Glue默认的glue
    .config("spark.sql.catalogImplementation", "hive") \
    # 替换Glue的元存储客户端工厂为原生Hive的实现
    .config("spark.hadoop.hive.metastore.client.factory.class", 
            "org.apache.hadoop.hive.metastore.api.ThriftHiveMetastoreClientFactory") \
    # 指定本地仓库目录，确保容器里有读写权限
    .config("spark.sql.warehouse.dir", "/temp/spark-warehouse") \
    # 启用Hive支持
    .enableHiveSupport() \
    .getOrCreate()

# 可以先打印配置确认是否生效
print("当前元存储实现：", spark.conf.get("spark.sql.catalogImplementation"))

如果你的代码是用GlueContext写的，也可以在创建GlueContext前先初始化好带配置的SparkSession：

from awsglue.context import GlueContext

glue_context = GlueContext(spark)

2. 启动本地Hive元存储服务（可选但推荐） #

默认Hive用嵌入式Derby数据库存元数据，重启容器就丢了。如果需要持久化元数据，进容器后启动独立的Hive Metastore服务：

# 首次运行先初始化元数据
schematool -initSchema -dbType derby

# 后台启动Hive Metastore服务
hive --service metastore &

3. 别让LocalStack干扰元存储配置 #

LocalStack只管模拟S3这些AWS服务，元存储的配置和它没关系，确保你没把元存储的端点指向LocalStack，就专注改Spark的Hive相关配置就行。

验证是否生效 #

执行CREATE DATABASE语句后，去容器里的/temp/spark-warehouse目录看，应该会生成对应数据库的文件夹。同时看Spark日志，要是没出现调用glue.amazonaws.com的请求，就说明成功切换了。

踩坑排查 #

• 要是还是调用Glue Catalog，就打印所有Spark配置看看：print(spark.conf.getAll())，确认spark.sql.catalogImplementation是不是hive，别被镜像里的默认配置覆盖了。
• 确保/temp目录有读写权限，不然创建数据库会报权限错误。
• 要是用独立Hive Metastore，先确认服务启动了，端口9083能访问。

内容的提问来源于stack exchange，提问作者Lara