如何在Pandas中绘制符合需求的复杂分布图表？

首先纠正你之前代码的核心问题：你用随机生成的累积和数据替代了真实数据集，且没有对ID进行分组处理，导致图表完全不符合需求。以下是针对你的真实数据集的完整实现步骤：

1. 加载并预处理真实数据 #

假设你的数据存储在CSV文件中，先正确加载并清洗数据：

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# 加载数据（分隔符用空格，适配你的数据格式）
df = pd.read_csv('your_data_file.csv', sep='\s+', names=['ids', 'count'])

# 确保count是数值类型，处理可能的无效值
df['count'] = pd.to_numeric(df['count'], errors='coerce')
df = df.dropna(subset=['count'])

# 转换ids为整数类型（适配1到100万的连续ID）
df['ids'] = df['ids'].astype(int)

2. 对ID进行分组 #

100万个ID直接绘制会导致X轴拥挤无法分辨，必须分组。这里以每1000个ID为一组为例，你可以根据需求调整分组大小：

group_size = 1000
# 生成分组标签：1-1000为Group 1，1001-2000为Group 2...
df['id_group'] = (df['ids'] - 1) // group_size + 1

如果你的ID不是连续的，也可以用分位数分组（比如分成100组，每组包含1万个ID）：

df['id_group'] = pd.qcut(df['ids'], q=100, labels=[f'Group {i+1}' for i in range(100)])

3. 选择合适的图表类型绘制分布 #

根据你想要的"分布展示"需求，推荐两种常用实现：

方案1：箱线图（展示每组的分布特征） #

适合查看每组Count的四分位数、中位数及异常值：

plt.figure(figsize=(12, 6))
# 隐藏极端异常值让图表更清晰（可根据需求去掉showfliers=False）
df.boxplot(column='count', by='id_group', showfliers=False)

plt.title('Count Distribution by ID Groups')
plt.suptitle('')  # 移除pandas默认的冗余标题
plt.xlabel(f'ID Groups (each group contains {group_size} IDs)')
plt.ylabel('Count Value')
plt.xticks(rotation=45)  # 旋转X轴标签避免重叠
plt.tight_layout()
plt.show()

方案2：均值折线+误差带（展示趋势与波动） #

适合查看Count随分组ID的变化趋势及波动范围：

# 先计算每组的统计量：均值、标准差
group_stats = df.groupby('id_group')['count'].agg(['mean', 'std']).reset_index()

plt.figure(figsize=(12, 6))
# 绘制均值折线
plt.plot(group_stats['id_group'], group_stats['mean'], label='Mean Count')
# 绘制标准差误差带
plt.fill_between(group_stats['id_group'],
                 group_stats['mean'] - group_stats['std'],
                 group_stats['mean'] + group_stats['std'],
                 alpha=0.2, label='±1 Std Dev')

plt.title('Mean Count with Volatility by ID Groups')
plt.xlabel(f'ID Groups (each group contains {group_size} IDs)')
plt.ylabel('Count Value')
plt.legend()
plt.tight_layout()
plt.show()

优化建议 #

• 调整分组大小：如果Count波动大，缩小分组；波动小则增大分组，平衡细节与可读性
• 处理极端值：如果Count存在超大/超小的异常值，可通过df['count'] = df['count'].clip(lower=lower_bound, upper=upper_bound)截断，避免图表被拉伸变形
• 切换图表类型：若想查看分布密度，可改用小提琴图（sns.violinplot()，需导入seaborn库）

内容的提问来源于stack exchange，提问作者Mikasa