Spark使用createDataFrame无法推断Schema时能否默认指定数据类型为string

该需求可直接通过Spark配置或兼容代码实现，两种适配不同版本的方案如下：

方案1：全局配置实现（推荐，适配Spark 3.3+ / Databricks Runtime 11.3 LTS+） #

直接设置Spark原生参数，即可实现所有无法推断数据类型的列自动默认使用StringType，无需额外改造业务代码：

# 开启类型推断失败时自动回退为StringType的配置
spark.conf.set("spark.sql.typeInference.fallbackToStringType", "true")

# 配置生效后直接正常创建DataFrame即可，不会再抛出推断失败报错
df = spark.createDataFrame(api_return_data)

方案2：低版本兼容实现（适配Spark 3.3以下版本） #

如果使用的Spark版本不支持上述配置，可通过JSON中转读取的方式兼容，适配API返回结构动态变化的场景：

import json

# 将API返回的原始数据转为JSON字符串RDD
api_data_rdd = sc.parallelize([json.dumps(record) for record in api_return_data])

# 读取时指定宽松模式，无法推断的类型自动转为字符串
df = spark.read \
    .option("mode", "PERMISSIVE") \
    .option("inferSchema", "true") \
    .json(api_data_rdd)

可选优化：全字段默认读为String #

如果不需要自动推断任何类型，希望所有列默认都用StringType避免后续结构变动报错，可直接指定读取参数：

df = spark.read \
    .option("primitivesAsString", "true") \
    .json(api_data_rdd)

注意事项 #

• 若API返回存在同名字段大小写不一致的情况，可搭配spark.conf.set("spark.sql.caseSensitive", "false")使用，避免列重复
• 嵌套结构字段出现类型冲突时（比如同一字段有时返回数字、有时返回字符串），上述方案也会自动将该字段转为StringType，不会抛出异常

内容的提问来源于stack exchange，提问作者esteebie