Pandas升级至v2.0.0后在Databricks中显示DataFrame报错求解决

问题原因 #

Pandas 2.0.0正式移除了iteritems()方法，而Databricks的display()函数底层依赖这个方法处理Pandas DataFrame，因此触发AttributeError。

可行解决方法 #

• 回退Pandas版本：将Pandas降级到2.0.0以下，恢复原有功能。在Databricks notebook中执行：

  %pip install pandas<2.0.0
  dbutils.library.restartPython()
  

  重启Python环境后，df.display()即可正常生成表格展示。

• 转换为Spark DataFrame展示：把Pandas DataFrame转为Databricks原生的Spark DataFrame，再调用display()，该方法不受Pandas版本影响：

  # 转换Pandas DF到Spark DF
  spark_df = spark.createDataFrame(df)
  # 表格形式展示
  display(spark_df)
  

• 临时兼容补丁（不推荐长期使用）：给Pandas DataFrame临时绑定iteritems()方法，指向替代它的items()方法：

  import pandas as pd
  # 临时映射方法
  pd.DataFrame.iteritems = pd.DataFrame.items
  # 调用display()
  df.display()
  

  此方法仅作应急使用，后续Databricks适配Pandas 2.0后可能出现冲突。

内容的提问来源于stack exchange，提问作者ibarbo