如何在不产生NaN值的前提下将DataFrame多行检测值转为对应列
长表转指定格式宽表的无NaN实现方案
核心逻辑完全匹配你的业务规则:每个ID固定绑定1个Gender值、对应2条血液指标检测记录,只要按顺序处理,完全不会出现空值。
先做前置校验,从根源避免NaN
很多时候转出来空值不是代码问题,是数据没匹配上规则,先花2行代码把异常数据筛掉:
- 统计每个ID的行数,确认所有ID都刚好有2条检测记录,有偏差的提前修正
# 检查ID对应的记录数 id_row_count = df.groupby('ID').size() bad_ids = id_row_count[id_row_count != 2].index.tolist() if bad_ids: print(f"检测到非2条记录的ID: {bad_ids},不处理这些数据一定会出NaN") - 确认同一个ID下的Gender值完全一致,避免后续拼接属性错位
# 检查同ID的Gender是否统一 gender_diff = df.groupby('ID')['Gender'].nunique() bad_gender_ids = gender_diff[gender_diff > 1].index.tolist() if bad_gender_ids: print(f"检测到同ID下Gender值不统一的ID: {bad_gender_ids}")
关键步骤:给同ID的检测记录打序号
这一步是宽表展开不串值、不出空值的核心:给每个ID分组里的记录按先后顺序标记是第1次、第2次检测,给透视逻辑明确的列对应关系:
# 分组内累计计数生成1、2的检测次数字段 df['test_seq'] = df.groupby('ID').cumcount() + 1
拆分固定属性和指标值,拼接成目标宽表
- 先把和ID一一绑定的固定信息(ID、Gender)抽出来,因为这俩是每个ID固定不变的,直接去重就不会丢值:
# 提取基础属性列 base_part = df[['ID', 'Gender']].drop_duplicates().reset_index(drop=True) - 把三个血液检测指标做透视展开,因为提前给每个ID的记录打了1、2的顺序标,展开的时候每个列都会有对应值,不会对不齐:
# 按ID为行、检测序号为列展开指标值 metric_part = df.pivot( index='ID', columns='test_seq', values=['Lymphocyes', 'Monocytes', 'NRBC'] ) # 把多级列名改成你要的「指标名 序号」格式,比如Lymphocyes 1 metric_part.columns = [f"{col[0]} {col[1]}" for col in metric_part.columns] # 把ID从索引转成普通列 metric_part = metric_part.reset_index() - 最后把基础属性部分和透视好的指标部分按ID做内连接,因为两边的ID是完全匹配的,连接后不会产生空值:
final_result = base_part.merge(metric_part, on='ID', how='inner')
为什么全程没有NaN?因为前置校验已经确保每个ID刚好有2条记录,分组打序号的时候每个ID都会生成1、2两个序号,透视的时候每个序号对应的指标值都是存在的,连接的时候两边ID完全对齐,根本不会有对不上的空值。
内容的提问来源于stack exchange,提问作者David
相关产品推荐
相关产品推荐

