Python Pandas统计DataFrame单列独占非空值的行数实现
Pandas 实现「仅单列非空」的行数统计
核心逻辑拆解
根据规则,just_name_sum 的统计本质是:
- 逐行遍历(排除ident列),先统计A/B/C/D四列里的非空值总数
- 当某行的非空值总数恰好为1时,把这行计入这个唯一非空值所属列的统计
- 最终每个列的累计计数,就是对应的
just_name_sum值,和题目给出的A=3、B=1、C=1、D=0的示例结果完全匹配
实现步骤
1. 构造可复现的测试数据集
按照题目给出的9条示例数据,先构造df1:
import pandas as pd import numpy as np df1 = pd.DataFrame({ "ident": [1, 2, 3, 4, 5, 6, 7, 8, 9], "A": [np.nan, 3, 1, np.nan, 4, np.nan, np.nan, 1, 1], "B": [2, np.nan, 2, 4, 1, 3, np.nan, np.nan, np.nan], "C": [1, np.nan, 1, np.nan, np.nan, 2, 3, np.nan, np.nan], "D": [np.nan, np.nan, 5, np.nan, 3, np.nan, np.nan, np.nan, np.nan] })
2. 基础实现(可读性优先)
逐行判断非空状态,筛选符合规则的行并整理成要求的df2结构:
target_cols = ["A", "B", "C", "D"] # 排除ident列的目标统计列 # 逐行统计非空个数、对应非空列名 row_stats = ( df1[target_cols] .notna() .agg( { "non_null_count": lambda row: row.sum(), "non_null_col_list": lambda row: list(row[row].index) }, axis=1 ) ) # 筛选仅含1个非空值的行,提取对应的列名 valid_rows = row_stats[row_stats["non_null_count"] == 1] single_col_name = valid_rows["non_null_col_list"].str[0] # 整理为要求的df2结构,补全计数为0的列 df2 = ( single_col_name .value_counts() .reindex(target_cols) .fillna(0) .astype(int) .reset_index() .rename(columns={"index": "name", 0: "just_name_sum"}) )
运行后得到的df2结果为:
| name | just_name_sum |
|---|---|
| A | 3 |
| B | 1 |
| C | 1 |
| D | 0 |
和题目给出的示例统计结果完全一致。
3. 大数据量优化实现
如果处理的DataFrame行数较多,逐行apply的方式会有性能损耗,可以替换为纯向量化的计算逻辑,运行效率更高:
target_cols = ["A", "B", "C", "D"] # 计算每行的非空值总数,生成“仅1个非空值”的布尔掩码 single_non_null_mask = df1[target_cols].notna().sum(axis=1) == 1 # 结合掩码计算每列对应的符合条件的行数 col_counts = df1[target_cols].notna().mul(single_non_null_mask, axis=0).sum() # 整理为df2结构 df2 = col_counts.reset_index().rename(columns={"index": "name", 0: "just_name_sum"})
内容的提问来源于stack exchange,提问作者hahakomisch
相关产品推荐
相关产品推荐

