Databricks中Pandas DataFrame调用df.display()报错求助

核心原因 #

Registratie列虽然表面是pandas的object类型，但内部存在混合的Python子类型——Arrow在将pandas DataFrame转换为Databricks可显示格式时，无法统一该列的类型，从而触发合并失败的TypeError。常见场景包括：

• 列中同时包含字符串与None/numpy.nan，Arrow对空值的处理逻辑与pandas的object类型存在兼容冲突
• 列里混入了列表、字典这类非标量数据，Arrow无法高效序列化此类结构
• 部分字符串带有特殊编码或不可打印字符，干扰了Arrow的类型推断

另外，Databricks的display()函数默认依赖Arrow优化提速，一旦Arrow转换失败会触发降级处理，但降级过程中容易出现类型合并错误。

解决办法 #

1. 强制统一Registratie列为字符串类型 #

清理列内非字符串元素，统一转换为字符串格式：

# 将空值转为空字符串，其余元素转为字符串
df['Registratie'] = df['Registratie'].astype(str).replace('nan', '')
# 或者保留空值为None
df['Registratie'] = df['Registratie'].apply(lambda x: str(x) if pd.notna(x) else None)

转换完成后再执行df.display()

2. 禁用Arrow优化后运行display #

直接关闭Arrow转换，让Databricks使用传统方式处理pandas DataFrame：

spark.conf.set("spark.sql.execution.arrow.pyspark.enabled", "false")
df.display()

使用完毕后可重新开启Arrow优化，避免影响其他操作：

spark.conf.set("spark.sql.execution.arrow.pyspark.enabled", "true")

3. 排查并清理列中异常数据 #

先统计Registratie列的元素类型分布，定位异常类型：

# 统计列内各元素的类型占比
type_counts = df['Registratie'].apply(type).value_counts()
print(type_counts)

根据输出结果过滤或转换异常类型的行：

# 示例：仅保留字符串类型的行
df = df[df['Registratie'].apply(lambda x: isinstance(x, str))]

4. 转换为PySpark DataFrame后再显示 #

若上述方法无效，可先将pandas DataFrame转为PySpark DataFrame，借助PySpark的类型处理机制规避Arrow的兼容问题：

spark_df = spark.createDataFrame(df)
spark_df.display()

内容的提问来源于stack exchange，提问作者Hans.nl