PySpark写入Hive元数据表报错：StructType无法接受str类型COL-a

报错核心原因 #

你使用的是pyspark.pandas.DataFrame（Koalas DataFrame），它本质是Spark原生DataFrame的封装。直接用spark.createDataFrame并手动传入自定义Schema会破坏Koalas到Spark的自动类型映射逻辑：

1. Koalas的列类型与Spark原生类型已有默认映射，手动指定Schema会触发不必要的类型校验冲突；
2. 列名包含特殊字符（如COL-a的横杠）时，Spark的Schema校验会误将列名识别为字符串对象，从而抛出StructType can not accept object COL-a in type str错误；
3. Date列是object类型（字符串格式），直接指定DateType但未提前解析日期，也会加剧类型转换异常。

解决方案 #

方案一：直接使用Koalas原生写入方法（最简便） #

Koalas DataFrame支持直接写入Hive元数据表，无需手动转换为Spark DataFrame：

# 先将字符串格式的Date列解析为日期类型
df['Date'] = df.to_datetime(df['Date'])

# 覆盖写入Hive表
df.to_table(name="Hive_metastore.Random_loc_1.Final_res", mode="overwrite")

方案二：转换为Spark DataFrame后写入 #

如果必须通过Spark DataFrame中转，可利用Koalas的to_spark()方法自动映射类型，再处理日期列：

from pyspark.sql.types import DateType

# 将Koalas DF转为Spark DF，自动处理类型映射
df_spark = df.to_spark()

# 将字符串Date列转换为Spark DateType
df_spark = df_spark.withColumn("Date", df_spark["Date"].cast(DateType()))

# 方式1：直接写入Hive表
df_spark.write.mode("overwrite").saveAsTable("Hive_metastore.Random_loc_1.Final_res")

# 方式2：通过临时视图SQL写入（保留你的原有逻辑）
df_spark.createOrReplaceTempView("hello_hi")
spark.sql("CREATE OR REPLACE TABLE Hive_metastore.Random_loc_1.Final_res AS SELECT * FROM hello_hi")

额外注意事项 #

如果Date列的字符串格式非Spark默认识别的yyyy-MM-dd，需指定格式解析：

from pyspark.sql.functions import to_date

# 示例：如果日期格式是yyyy/MM/dd
df_spark = df_spark.withColumn("Date", to_date(df_spark["Date"], "yyyy/MM/dd"))

内容的提问来源于stack exchange，提问作者Sharath