将数值转分类值后Pandas Profiling生成报告卡顿问题

问题背景 #

直接读取CSV后，部分数值列被误识别为分类列，但将其修改为字符串类型后，pandas-profiling生成报告耗时剧增（30+分钟未完成），不修改类型则1分钟内即可生成报告。数据缺失情况如下：

A 0
B 0
C 3
D 0
E 0
F 0
G 86317
H 39
I 6871
J 0

尝试过两种转类型方式均出现卡顿：

1. 读取时指定类型：

df_data = pd.read_csv('example.csv', parse_dates=['A', 'B'], dtype={
    'C' : 'string',
    'D' : 'string',
    'E' : 'string'
})

2. 读取后转换类型：

df_data = pd.read_csv('example.csv')
df_data['C'] = df_data['A'].astype(str)  # 注意：此处疑似笔误，应取自身列而非A列
df_data['D'] = df_data['A'].astype(str)
df_data['E'] = df_data['A'].astype(str)

核心原因 #

pandas-profiling对字符串列的统计逻辑远复杂于数值列：需计算唯一值数量、频率分布、字符长度等，若列的基数极高（比如原数值列是连续型、唯一值接近总行数），转成字符串后会触发大量计算，直接拖慢生成速度。另外第二种方法的笔误会导致C/D/E列完全复用A列数据，进一步放大基数问题。

解决方案 #

1. 优先使用Categorical类型替代string

如果这些列确实是分类属性（如编码值、枚举值），转成Categorical类型能大幅降低内存占用和计算量：

# 读取时指定类型
df_data = pd.read_csv('example.csv', parse_dates=['A', 'B'], dtype={
    'C': 'category',
    'D': 'category',
    'E': 'category'
})

# 或读取后转换
df_data['C'] = df_data['C'].astype('category')
df_data['D'] = df_data['D'].astype('category')
df_data['E'] = df_data['E'].astype('category')

Categorical会把重复值映射为整数编码，统计时仅处理编码而非完整字符串，效率提升明显。

2. 调整pandas-profiling配置，关闭耗时统计项

通过修改配置，对高基数列禁用不必要的计算：

from pandas_profiling import ProfileReport

profile = ProfileReport(
    df_data,
    config_file={
        "variables": {
            "categorical": {
                "chi_squared": False,  # 关闭卡方检验
                "correlations": {"pearson": False, "spearman": False}  # 关闭相关性计算
            },
            "string": {
                "length": False,  # 关闭字符串长度统计
                "unique": {"top_n": 5}  # 仅展示前5个高频值，减少计算量
            }
        },
        "samples": {"head": False, "tail": False}  # 关闭首尾样本展示
    }
)
profile.to_file("report.html")

3. 修正转类型的笔误

第二种方法中错误地将C/D/E列赋值为A列的字符串，会导致这些列的基数与A列完全一致（若A是日期/高基数列，问题会更严重），修正为：

df_data = pd.read_csv('example.csv')
df_data['C'] = df_data['C'].astype(str)
df_data['D'] = df_data['D'].astype(str)
df_data['E'] = df_data['E'].astype(str)

4. 只分析目标列

如果仅需关注特定列的统计，可指定columns参数缩小分析范围：

profile = ProfileReport(df_data, columns=['C', 'D', 'E', 'F'])
profile.to_file("target_report.html")

内容的提问来源于stack exchange，提问作者hexxetexxeh