Python Pandas：如何移除DataFrame中占比<5%的OffenseDescription记录？
2026-8-2
解决DataFrame过滤低占比犯罪记录问题
原代码问题分析
- 列名拼写错误：
groupby中的OffenseDescriptiom应为OffenseDescription - 统计对象错误：用
sum()计算列的和，实际需要的是总行数，应改用len(crime)或crime.shape[0] - 性能问题：
transform+lambda的循环逻辑在数据量大时效率极低，易引发内核崩溃
通用方案（可灵活调整占比阈值）
先计算每个犯罪类型的占比，再筛选占比≥指定阈值的记录：
# 设定占比阈值，此处为5%，可按需修改 threshold = 0.05 # 计算每个犯罪类型的占比 category_ratios = crime['OffenseDescription'].value_counts(normalize=True) # 获取符合占比要求的犯罪类型 target_categories = category_ratios[category_ratios >= threshold].index # 过滤得到目标DataFrame filtered_crime = crime[crime['OffenseDescription'].isin(target_categories)]
特定方案（直接过滤5%以下的记录）
若无需保留阈值变量，可简化为：
# 筛选占比≥5%的犯罪类型 target_categories = crime['OffenseDescription'].value_counts(normalize=True)[lambda x: x >= 0.05].index # 执行过滤 filtered_crime = crime[crime['OffenseDescription'].isin(target_categories)]
补充说明
value_counts(normalize=True)是Pandas内置的高效占比计算方法，比手动循环计算快得多isin()为向量化操作，避免了逐行循环的性能瓶颈，不会出现内核崩溃问题- 你提供的DataFrame预览：
内容的提问来源于stack exchange，提问作者Fixer
相关产品推荐
相关产品推荐
