如何修改Python代码解决XML导入Spark DataFrame的类型冲突问题？

错误原因 #

你遇到的TypeError是因为Pandas DataFrame的Comment列同时包含字符串和数值类型（比如空值被解析成了NaN，属于DoubleType），而Spark要求DataFrame的每个字段类型必须完全统一，自动推断类型时无法合并两种不同类型，因此报错。

解决方案 #

有两种可靠的修改方式，任选其一即可：

方式1：解析XML时统一处理Comment字段 #

在提取XML属性的阶段，直接把Comment字段强制转为字符串，避免混合类型出现：

import xml.etree.ElementTree as ET
import pandas as pd
from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("PostHistoryImport").getOrCreate()

# 解析XML文件
tree = ET.parse("PostHistory.xml")
root = tree.getroot()

data_list = []
for elem in root:
    # 复制属性字典，避免修改原对象
    attr_dict = elem.attrib.copy()
    # 处理Comment字段：空值转为空字符串，非空值强制转字符串
    attr_dict["Comment"] = str(attr_dict.get("Comment", ""))
    data_list.append(attr_dict)

# 生成Pandas DataFrame后转Spark DataFrame
pdf = pd.DataFrame(data_list)
sdf = spark.createDataFrame(pdf)

# 验证结果
sdf.printSchema()
sdf.show(5)

方式2：手动指定Spark Schema #

如果已经生成了混合类型的Pandas DataFrame，可以通过手动定义Spark Schema，强制指定Comment为字符串类型，跳过自动推断：

import xml.etree.ElementTree as ET
import pandas as pd
from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, StringType, IntegerType, TimestampType

spark = SparkSession.builder.appName("PostHistoryImport").getOrCreate()

# 解析XML生成Pandas DataFrame（原逻辑不变）
tree = ET.parse("PostHistory.xml")
root = tree.getroot()
data_list = [elem.attrib for elem in root]
pdf = pd.DataFrame(data_list)

# 手动定义Schema，根据PostHistory的实际字段补充完整
custom_schema = StructType([
    StructField("Id", IntegerType(), nullable=True),
    StructField("PostHistoryTypeId", IntegerType(), nullable=True),
    StructField("PostId", IntegerType(), nullable=True),
    StructField("Comment", StringType(), nullable=True),  # 明确指定为字符串
    StructField("CreationDate", TimestampType(), nullable=True)
])

# 用指定Schema创建Spark DataFrame
sdf = spark.createDataFrame(pdf, schema=custom_schema)

# 验证结果
sdf.printSchema()
sdf.show(5)

额外注意 #

如果Pandas DataFrame中Comment列存在NaN，转字符串后会变成"nan"，可以在生成Pandas DataFrame后额外处理：

pdf["Comment"] = pdf["Comment"].replace("nan", "")

内容的提问来源于stack exchange，提问作者Sylwia Snarska