使用ydata_profiling保存ProfileReport时describe.py报错求助

问题 #

使用ydata_profiling生成ProfileReport并保存为HTML文件时触发报错，错误信息为：

ValueError: Can not describe a lazy ProfileReport without a DataFrame.

错误栈指向describe.py文件，生成报告过程无异常，但执行保存操作时出错。

相关代码 #

from ydata_profiling import ProfileReport
#1. 读取数据和特征掩码（标记需要分析的特征）
self._data_df = pd.read_csv(self.inputfname_csv, header=0)
self._mask_df = pd.read_csv(self.inputmask_csv, header=0)
#2. 移除不需要的列
self._selected_columns = self._mask_df.columns[self._mask_df.isin([MASK_ON]).any()]
self._selected_columns = self._selected_columns.values.tolist()
self._data_df = self._data_df.drop(columns=[col for col in self._data_df if col not in self._selected_columns], inplace=True)
#3. 生成报告
self._data_report_df = ProfileReport(self._data_df, title="Pandas Profiling Report")
#4. 保存HTML报告
self._data_report_df.to_file(self.outputfname_html) # 此处触发异常！

运行环境 #

Apple MacBook Pro M1芯片
macOS==Ventura 13.4.1 (c)
Visual Studio Code Version 1.72.2
python==3.10.12
conda                         23.7.2
joblib                        1.3.0
matplotlib                    3.7.1
matplotlib-inline             0.1.6
modin                         0.23.0
numba                         0.57.0
numpy                         1.23.5
pandas                        2.0.3
pandas-profiling              3.6.6
scikit-learn                  1.3.0
scipy                         1.11.1
seaborn                       0.12.2
ydata-profiling               4.5.0
zstandard                     0.19.0

已尝试以下方案但未解决：

• pandas_profiling主方法在Windows 10上工作异常的相关修复
• Jupyter中使用pandas-profiling的报错解决方案
• 修复DataFrame无ProfileReport属性的方案

解决方案 #

核心问题 #

代码第2步中，drop方法使用了inplace=True，同时又将返回值赋值给self._data_df。当inplace=True时，pandas的DataFrame方法会直接修改原对象并返回None，导致self._data_df变成None。后续传入ProfileReport的是None而非有效DataFrame，最终触发保存时的错误。

修正代码 #

将第2步的代码修改为以下两种方式之一：

方式1：移除inplace=True，保留赋值

#2. 移除不需要的列
self._selected_columns = self._mask_df.columns[self._mask_df.isin([MASK_ON]).any()]
self._selected_columns = self._selected_columns.values.tolist()
self._data_df = self._data_df.drop(columns=[col for col in self._data_df if col not in self._selected_columns])

方式2：保留inplace=True，但不赋值

#2. 移除不需要的列
self._selected_columns = self._mask_df.columns[self._mask_df.isin([MASK_ON]).any()]
self._selected_columns = self._selected_columns.values.tolist()
self._data_df.drop(columns=[col for col in self._data_df if col not in self._selected_columns], inplace=True)

额外注意事项 #

1. 确认self._selected_columns不为空，避免误删所有列导致DataFrame为空
2. 若使用modin pandas，确保其与ydata-profiling版本兼容（当前环境modin 0.23.0 + ydata-profiling 4.5.0无已知兼容问题）

内容的提问来源于stack exchange，提问作者JonT