API响应转Spark DataFrame时遇BooleanType与DoubleType合并错误求助

这个错误的核心原因是：API返回的JSON数据里同一字段同时存在布尔值（true/false）和数值（0/1这类），pandas归一化后该列会变成混合类型（object类型，同时存储bool和float），而Spark无法自动合并BooleanType和DoubleType两种类型，因此抛出报错。以下是几个实用的解决办法：

办法1：将冲突列统一转为布尔类型 #

如果那些数值0/1本质是布尔值的替代（0对应false，1对应true），可以直接强制把冲突列转成布尔类型：

response = requests.get('https://urloftherequest')
data = response.json()
df = pd.json_normalize(data[field])

# 找出pandas中存混合类型的列（这类列的dtype是object）
mixed_cols = [col for col in df.columns if df[col].dtype == 'object']
# 对每个混合列转布尔，数值0→False，非0→True，原有布尔值保持不变
for col in mixed_cols:
    df[col] = df[col].astype(bool)

df_aws = spark.createDataFrame(df)

办法2：统一转为字符串类型 #

和处理CSV的逻辑一致，把所有列转成字符串类型，后续可在Spark中按需再转换回目标类型：

response = requests.get('https://urloftherequest')
data = response.json()
df = pd.json_normalize(data[field])

# 将所有列转为字符串
df = df.astype(str)

df_aws = spark.createDataFrame(df)

办法3：跳过pandas，直接用Spark处理JSON #

如果数据量较大，直接用Spark读取API返回的JSON数据，还能通过自定义Schema强制指定字段类型，从根源避免类型冲突：

import json
from pyspark.sql.types import StructType, StructField, BooleanType, StringType, DoubleType

response = requests.get('https://urloftherequest')
data = response.json()

# 自定义Schema，明确指定每个字段的类型（比如把冲突列设为BooleanType）
custom_schema = StructType([
    StructField("column_name_1", StringType(), nullable=True),
    StructField("conflicting_column", BooleanType(), nullable=True),
    # 其他字段按实际需求补充定义
])

# 将JSON数据转为RDD后，用Spark读取
json_rdd = spark.sparkContext.parallelize([json.dumps(data[field])])
df_aws = spark.read.json(json_rdd, schema=custom_schema)

内容的提问来源于stack exchange，提问作者Jim Macaulay