Pandas如何按设定列数阈值筛选行 删除超列数阈值的行

不要用逐行循环的写法，pandas的向量化运算处理1万行数据效率极高，比循环快几十倍，实现步骤如下：

• 首先统一提取所有站点类列，避免把事件ID、记录时间这类非站点字段计入统计，同时注意你原有测试代码里存在列名拼写错误：statoin9应为station9，这类拼写问题会直接导致代码报错。
• 提前配置好你需要的最大有效列数阈值，比如示例场景的7、你提到的20，直接修改参数值即可。
• 按行统计每行的有效站点数量，定位所有超出阈值的行后直接调用drop()方法批量删除。

完整可运行代码如下：

# 1. 筛选所有站点列，可根据实际列名规则调整匹配逻辑
# 示例为匹配所有以station开头的列，如果你的站点列有其他命名规则对应修改判断条件即可
station_columns = [col for col in df.columns if col.startswith('station')]

# 2. 设置有效站点列数阈值，示例场景设为7，需调整为20直接修改该值
max_allowed_valid_cols = 7

# 3. 逐行统计有效站点数量：如果有效判定是值为True，直接用sum；如果有效判定是非空，替换为notna().sum()
# 布尔值True默认等价于数值1、False等价于0，按行求和直接得到每行有效站点数
valid_station_count = df[station_columns].sum(axis=1)
# 非空判定的有效数统计写法：
# valid_station_count = df[station_columns].notna().sum(axis=1)

# 4. 定位所有超出阈值的行，批量删除
drop_row_index = df[valid_station_count > max_allowed_valid_cols].index
df.drop(index=drop_row_index, inplace=True)

补充说明：

• 你最初写的循环遍历方案逻辑上能实现需求，但运行效率极低，且多列索引、列名拼写的问题很容易触发报错，处理万级以上数据时优先用pandas原生的批量操作。
• 代码里的有效判定逻辑可以根据你的实际业务规则调整，不影响整体的删行流程。

内容的提问来源于stack exchange，提问作者SHAH