执行Insert Overwrite分区表时触发pyspark.sql.utils.AnalysisException错误求助

1. 修正建表语句（核心问题） #

你的建表语句未将day_time声明为分区字段，导致Spark无法识别表的分区结构，这是触发错误的主要原因。重新建表时必须显式指定分区字段：

CREATE TABLE example (
    id string,
    name string
)
PARTITIONED BY (day_time string);

注意：分区字段不需要包含在表的普通字段列表中，单独放在PARTITIONED BY子句即可。

2. 校验INSERT语句的字段匹配 #

确保SELECT语句返回的字段顺序、数量与表的普通字段+分区字段完全对应。例如适配上面的表结构，SELECT需返回id, name, day_time三个字段，或者显式指定字段：

INSERT OVERWRITE TABLE example PARTITION(day_time)
SELECT id, name, day_time FROM your_source_table;

字段顺序错乱、缺少分区字段都会引发异常。

3. 确保动态分区配置生效 #

虽然你已配置参数，但可直接在Spark会话中验证是否加载成功：

# 打印参数当前值
print(spark_conn.sql("SET spark.hadoop.hive.exec.dynamic.partition").collect())
print(spark_conn.sql("SET spark.hadoop.hive.exec.dynamic.partition.mode").collect())

确认参数值为true和nonstrict，若未生效，建议在SparkSession初始化时直接配置：

from pyspark.sql import SparkSession

spark_conn = SparkSession.builder \
    .appName("PartitionTableWrite") \
    .config("spark.hadoop.hive.exec.dynamic.partition", "true") \
    .config("spark.hadoop.hive.exec.dynamic.partition.mode", "nonstrict") \
    .enableHiveSupport() \
    .getOrCreate()

4. 检查表的存储路径与类型 #

如果是外部表，需确保存储路径无冲突且权限正常，可通过以下语句查看表详情：

DESCRIBE EXTENDED example;

若Location路径异常（如指向多路径），需重新指定路径建表：

CREATE EXTERNAL TABLE example (
    id string,
    name string
)
PARTITIONED BY (day_time string)
LOCATION '/path/to/your/table';

5. 尝试Spark DataFrame API写入（适配版本差异） #

若使用Spark 3.x，可避开SQL语法兼容性问题，用DataFrame API写入：

# 读取源数据
source_df = spark_conn.sql("SELECT id, name, day_time FROM your_source_table")

# 覆盖写入分区表
source_df.write \
    .mode("overwrite") \
    .partitionBy("day_time") \
    .saveAsTable("example")

内容的提问来源于stack exchange，提问作者LX C