PySpark执行MSCK REPAIR TABLE SYNC PARTITIONS报错，Beeline执行正常求助

核心原因 #

PySpark与Beeline使用的Hive客户端环境、配置存在差异，导致Spark发送的分区同步请求不符合Glue Data Catalog的要求。尤其是SYNC PARTITIONS属于Hive 3.1+的特性，Spark绑定的低版本Hive客户端在与Glue交互时，可能出现请求格式不兼容的情况，触发InvalidInputException。

解决方案 #

1. 移除SYNC PARTITIONS参数，使用基础MSCK语句 #

将原PySpark语句修改为标准的分区修复语法：

spark.sql("MSCK REPAIR TABLE table_name")

该语句是Hive原生支持的标准语法，Glue对其兼容性更好。唯一区别是它只会新增S3上存在但元数据缺失的分区，不会删除元数据中有但S3已不存在的分区；如果你的场景仅需同步新增分区，此方法可直接解决报错。

2. 对齐Spark与Beeline的Glue Catalog配置 #

确保Spark作业的配置正确指向Glue Data Catalog，添加以下配置（可在代码中设置，或通过spark-submit命令行传入）：

• 代码中设置：

spark.conf.set("spark.sql.catalogImplementation", "hive")
spark.conf.set("spark.hadoop.hive.metastore.client.factory.class", "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory")

• spark-submit命令行参数：

--conf spark.sql.catalogImplementation=hive \
--conf spark.hadoop.hive.metastore.client.factory.class=com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory

这些配置会让Spark使用Glue官方的Hive客户端实现，与Beeline的运行环境对齐。

3. 升级Spark的Hive依赖版本 #

如果必须使用SYNC PARTITIONS特性（需要同步分区的增删），需确保Spark绑定的Hive版本为3.1及以上，且与Glue API兼容。可以在构建Spark作业依赖时，指定匹配的Hive版本（如3.1.2），避免版本不匹配导致的请求格式错误。

4. 改用Glue API/Crawler同步分区 #

若以上方法均无效，可绕过MSCK语句，直接通过Glue工具同步分区：

• 用boto3调用Glue API创建分区（示例）：

import boto3

glue_client = boto3.client('glue')
# 假设分区列为`str_part`，分区值为`202405`
partition_input = {
    'Values': ['202405'],
    'StorageDescriptor': {
        'Location': 's3://your-bucket/table-path/str_part=202405/',
        'InputFormat': 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat',
        'OutputFormat': 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat',
        'SerdeInfo': {
            'SerializationLibrary': 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
        }
    }
}

glue_client.create_partition(
    DatabaseName='your_db_name',
    TableName='table_name',
    PartitionInput=partition_input
)

• 触发Glue Crawler扫描更新分区（示例）：

glue_client.start_crawler(Name='your_crawler_name')

内容的提问来源于stack exchange，提问作者Dozel