pandas转Spark DataFrame存Hive Parquet表遇date不支持，需无硬编码批量类型转换

当前执行代码抛出的异常核心是当前运行环境下的Hive Parquet存储格式不支持原生date类型字段。直接通过select *建表时，Spark从pandas DataFrame推断出的date类型字段会直接透传到Hive表的Schema中，触发格式兼容异常，对应报错里提到的HIVE-6384兼容边界问题。

完全不需要硬编码列名，仅通过动态遍历Spark DataFrame的Schema，就能自动识别所有date类型字段并统一转换为string类型，满足Parquet存储要求，核心逻辑如下：

• 识别Spark DataFrame Schema中所有类型为DateType的字段，不依赖提前预知具体列名
• 对识别到的date字段统一执行string类型转换，其余字段保持原有类型不变
• 使用转换后的DataFrame执行建表写入逻辑，规避Parquet格式的类型不兼容问题

对应调整后的完整代码：

from pyspark.sql.functions import col
from pyspark.sql.types import DateType

# 从pandas dataframe生成初始Spark DataFrame
df = self.ss.createDataFrame(dataframe)

# 动态识别所有date类型字段，无需硬编码列名
date_cols = [field.name for field in df.schema.fields if isinstance(field.dataType, DateType)]
# 构造列转换规则：date字段转string，其余字段保留原类型
cast_exprs = [col(c).cast("string") if c in date_cols else col(c) for c in df.columns]
# 应用类型转换
df_converted = df.select(cast_exprs)

# 沿用原有建表逻辑写入Hive
df_converted.createOrReplaceTempView("table_Template")
self.ss.sql(f"CREATE TABLE IF NOT EXISTS database.{table_name} STORED AS PARQUET AS SELECT * FROM table_Template")

注意：该方案的Schema识别逻辑是运行时动态完成的，后续pandas侧新增、调整、删除date类型字段时，不需要修改任何转换代码，没有硬编码的维护成本。

内容的提问来源于stack exchange，提问作者Sachin