如何在Databricks中为全字符串类型DataFrame df1自动推断Schema并生成新DF

Spark没有直接提供针对已有DataFrame的inferSchema调用方法（readAPI仅针对外部数据源），但可以通过以下两种方式实现类似CSV读取时的类型推断效果，且完全不修改原始DataFramedf1：

方法一：复用Spark内置CSV推断逻辑（推荐） #

这种方法将现有DataFrame临时写入CSV格式（无需落地到持久化存储，Databricks支持内存/DBFS临时路径），再通过inferSchema=true读取，完全复用Spark原生的类型推断逻辑，与读CSV时的行为一致。

代码示例（Scala） #

import org.apache.spark.sql.SaveMode

// 使用DBFS临时路径（Databricks推荐，避免本地磁盘限制）
val tempPath = "dbfs:/tmp/temp_infer_schema.csv"

// 将原始df1写入临时CSV，保留表头
df1.write.mode(SaveMode.Overwrite).option("header", "true").csv(tempPath)

// 读取临时CSV并开启类型推断，生成新的DataFrame
val dfInferred = spark.read.option("header", "true").option("inferSchema", "true").csv(tempPath)

// 验证转换后的schema
dfInferred.printSchema()

注意事项 #

• 临时路径使用dbfs:/tmp/...可以避免Databricks集群节点本地磁盘的权限或空间问题
• 原始df1不会被修改，所有操作基于临时文件生成新的DataFrame
• 支持100+列的大规模场景，Spark会自动并行处理类型推断

方法二：自定义类型推断函数 #

如果不想依赖临时文件，可以自定义函数遍历所有列，尝试将字符串转换为合适的类型（如整数、浮点数、日期、布尔值等）。

代码示例（Scala） #

import org.apache.spark.sql.functions._
import org.apache.spark.sql.types._

// 定义类型推断逻辑：按优先级尝试转换为不同类型
def inferColumnType(colName: String): Column = {
  // 优先尝试整数类型
  when(col(colName).cast(IntegerType).isNotNull, col(colName).cast(IntegerType))
  // 其次尝试浮点数类型
  .when(col(colName).cast(DoubleType).isNotNull, col(colName).cast(DoubleType))
  // 尝试日期类型（可根据实际日期格式调整，这里用Spark默认格式）
  .when(to_date(col(colName)).isNotNull, to_date(col(colName)))
  // 尝试布尔类型
  .when(col(colName).cast(BooleanType).isNotNull, col(colName).cast(BooleanType))
  // 所有类型都不匹配时保留原字符串类型
  .otherwise(col(colName))
}

// 对df1的所有列应用类型推断，生成新DataFrame
val dfInferred = df1.select(df1.columns.map(colName => inferColumnType(colName).alias(colName)): _*)

// 查看转换后的schema
dfInferred.printSchema()

注意事项 #

• 可以根据业务需求调整类型推断的优先级（比如先推断日期再推断数值）
• 若需要支持特殊格式的日期/时间，可替换to_date为to_timestamp并指定格式（如to_date(col(colName), "yyyy-MM-dd")）

内容的提问来源于stack exchange，提问作者Sam