PySpark动态转换数据类型：通用自动推断字段类型需求

实现思路 #

针对全varchar类型的Parquet文件，通过容错式类型尝试转换，自动识别列的实际数据类型（整数、日期、字符串等），无需硬编码列名或Schema，适配多文件场景。

具体步骤 #

1. 读取Parquet文件 #

先读取ADLS上的目标文件，默认以字符串类型加载所有列：

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, to_date, to_timestamp, when
from pyspark.sql.types import IntegerType, LongType, DoubleType, StringType, BooleanType

# 初始化Spark会话
spark = SparkSession.builder.appName("AutoTypeConverter").getOrCreate()

# 替换为你的ADLS Parquet文件路径
df = spark.read.parquet("abfss://<container>@<storage-account>.dfs.core.windows.net/<your-parquet-path>")

2. 编写自动转换函数 #

定义函数对单列依次尝试多种类型转换，失败则保留原字符串：

def auto_cast_col(col_name):
    # 尝试整数类型（兼容int/bigint）
    cast_int = col(col_name).cast(IntegerType())
    cast_long = when(cast_int.isNull(), col(col_name).cast(LongType())).otherwise(cast_int)
    # 尝试浮点数
    cast_double = when(cast_long.isNull(), col(col_name).cast(DoubleType())).otherwise(cast_long)
    # 尝试日期（支持常见格式，可按需扩展）
    cast_date = when(cast_double.isNull(), to_date(col(col_name), "yyyy-MM-dd")).otherwise(cast_double)
    # 尝试时间戳
    cast_ts = when(cast_date.isNull(), to_timestamp(col(col_name), "yyyy-MM-dd HH:mm:ss")).otherwise(cast_date)
    # 尝试布尔值（处理true/false、1/0等场景）
    cast_bool = when(cast_ts.isNull(), col(col_name).cast(BooleanType())).otherwise(cast_ts)
    # 所有转换失败则保留原字符串
    final_col = when(cast_bool.isNull(), col(col_name)).otherwise(cast_bool)
    return final_col.alias(col_name)

3. 批量处理所有列 #

遍历DataFrame所有列，应用转换函数：

# 对所有列执行自动类型转换
converted_df = df.select([auto_cast_col(col) for col in df.columns])

# 验证转换后的Schema
converted_df.printSchema()
# 可选：查看转换后的数据样例
converted_df.show(5, truncate=False)

4. 扩展优化 #

• 日期格式扩展：如果数据包含多种日期格式，可以添加多格式尝试，比如to_date(col(col_name), "MM/dd/yyyy")，用when链式判断
• 转换优先级调整：根据业务数据特点调整转换顺序（比如优先处理日期而非数值）
• 失败日志记录：添加逻辑记录转换失败的列及样例数据，便于后续排查

内容的提问来源于stack exchange，提问作者SHIVAM YADAV