PySpark insertInto()因分区列大小写不一致失败，是否为Hive Bug？

针对你在Spark 2.2.1 + Hive 2.1.1环境下遇到的大写分区列调用insertInto()报错的问题，我来逐一解答你的疑问：

1. 针对旧语法创建的表，是否有方法正常使用insertInto()？ #

有几个可行的方案可以尝试，不需要修改现有表的创建语法：

• 统一DataFrame列名与Hive表分区列的大小写
  报错信息显示Spark同时识别了小写pcol和大写PCOL，说明你的DataFrame中列名是小写，而Hive表分区列是大写。可以先将DataFrame的分区列重命名为和Hive表一致的大写，再调用insertInto()：

  # 假设你的DataFrame是df，将pcol列重命名为PCOL
  df_renamed = df.withColumnRenamed("pcol", "PCOL")
  df_renamed.insertInto("your_table_name")
  

• 调整Spark大小写敏感配置
  在SparkSession初始化时，添加spark.sql.caseSensitive参数为false，关闭全局大小写敏感（注意这可能影响其他依赖大小写区分的表操作，需根据业务场景评估）：

  from pyspark.sql import SparkSession
  
  spark = SparkSession.builder \
      .appName("InsertTest") \
      .config("spark.sql.caseSensitive", "false") \
      .enableHiveSupport() \
      .getOrCreate()
  

• 使用Spark SQL语句替代DataFrame的insertInto()
  绕过DataFrame API的分区列大小写校验，直接用Spark SQL执行插入操作：

  df.createOrReplaceTempView("temp_view")
  spark.sql("INSERT INTO your_table_name SELECT * FROM temp_view")
  

• 修改Hive表的分区列元数据（谨慎操作）
  如果允许修改现有表的元数据，可以通过Hive命令将分区列的名称统一为小写（或与DataFrame一致的大小写），但这需要对Hive元数据有操作权限，且需确保历史分区数据的兼容性：

  -- 在Hive CLI中执行
  ALTER TABLE your_table_name CHANGE COLUMN PCOL pcol string COMMENT 'your comment' CASCADE;
  

2. 该问题是否由HIVE-14032引发？ #

是的，你的问题和**HIVE-14032（分区键大小写敏感导致INSERT OVERWRITE失败）**属于同一根源的问题：Hive元数据对分区列的大小写存储是敏感的，但Spark在处理insertInto()时，对列名的大小写处理逻辑与Hive元数据交互时出现了冲突，导致同时识别了大小写两种形式的分区列，进而抛出"包含非分区列"的异常。

HIVE-14032的核心问题就是Hive对分区键的大小写敏感，而Spark的insertInto()底层依赖Hive的插入逻辑，因此当分区列大小写不一致时，就会触发类似的错误。不过需要注意的是，Spark 2.2.1本身的Hive交互层也存在一些兼容性问题，升级到更高版本的Spark（比如2.4.x及以上）也可能自动解决这类大小写不匹配的问题。

内容的提问来源于stack exchange，提问作者jamiet