如何统计DataFrame非NA行数并按条件过滤站点数据

以下基于Python的pandas库实现需求，完整操作代码及说明如下： #

前置准备 #

首先读取数据，注意正确识别数据中的NA值：

import pandas as pd
# 替换为你的实际文件路径
df = pd.read_csv("data.csv", na_values=["NA"])

步骤1：分组统计单日有效数据行数 #

按指定字段分组，统计每组内valor列非NA的行数，pandas的count()方法默认会忽略空值，刚好匹配需求：

# 按站点、参数、年、月、日分组，统计每组有效行数
daily_valid_count = df.groupby(
    ["id_station", "id_parameter", "year", "month", "day"], 
    as_index=False
)["valor"].count().rename(columns={"valor": "valid_rows"})

得到的daily_valid_count就是第一步需要的统计结果，valid_rows列即为对应分组的非NA行数。 #

步骤2：过滤不符合要求的站点 #

先统计每个站点满足「单日有效行数≥18」的总天数，再筛选出总天数≥274的站点，最后用站点列表过滤原数据：

# 统计每个站点符合要求的总天数
station_day_count = daily_valid_count[daily_valid_count["valid_rows"] >= 18]\
    .groupby("id_station", as_index=False)["valid_rows"].count()\
    .rename(columns={"valid_rows": "qualified_days"})

# 筛选需要保留的站点
keep_stations = station_day_count[station_day_count["qualified_days"] >= 274]["id_station"].tolist()

# 过滤原数据，得到最终结果
df_result = df[df["id_station"].isin(keep_stations)].reset_index(drop=True)

最终的df_result就是删除不合格站点后的数据集。 #

内容的提问来源于stack exchange，提问作者Owen X.