pandas DataFrame按前缀重构:if语句扩展多列的适配与异常解决
问题根因与重构方案
之前代码失效的核心原因
你采用的逐行排序逻辑,默认假设每一行内4个类别的元素刚好各出现1次,但实际数据的行内类别分布是不均匀的:
- 部分行存在同一类别的重复元素(比如ne类、Number类)
- 部分行存在某类元素缺失的情况(比如id类、test类、Number类)
这种场景下直接按key逐行重排元素,必然会出现列错位,最终输出和预期偏差。
适配多场景的重构实现
核心思路是提前固定列与前缀的一一映射关系,逐行把元素归集到对应前缀的存储桶里,再按列顺序取数补空,从根源避免错位。后续扩展到17列时,只需要在映射表中新增规则即可,无需改动核心逻辑。
示例代码
import pandas as pd import numpy as np # 提前定义列与匹配前缀的映射,扩列仅需在此处新增规则 col_prefix_map = [ ("col1", "id"), ("col2", "test"), ("col3", "Number"), ("col4", "ne") ] # 原始示例数据 df = pd.DataFrame({ 'col1': ['id 1', 'id 2', 'test 3', 'test 4'], 'col2': ['test 1', 'test 2', 'ne 5261', 'id 4'], 'col3': ['Number 12344', 'Number 21612', 'id 3', 'Number 1131'], 'col4': ['ne 315', 'Number 1264777', 'ne 1415', 'ne 52'] }) processed_rows = [] for row in df.values: # 按前缀初始化存储桶 bucket = {prefix: [] for _, prefix in col_prefix_map} # 逐元素归集到对应桶 for item in row: for _, prefix in col_prefix_map: # 精准匹配开头前缀,避免模糊匹配的误判 if item.startswith(prefix): bucket[prefix].append(item) break # 按列顺序生成新行,缺值补空 new_row = [ bucket[prefix][0] if bucket[prefix] else np.nan for _, prefix in col_prefix_map ] processed_rows.append(new_row) # 生成最终重构结果 new_df = pd.DataFrame( processed_rows, columns=[col_name for col_name, _ in col_prefix_map] ) print(new_df)
运行效果
最终输出会严格保证每列仅存放对应前缀的内容:
col1 col2 col3 col4 0 id 1 test 1 Number 12344 ne 315 1 id 2 test 2 Number 21612 NaN 2 id 3 test 3 NaN ne 5261 3 id 4 test 4 Number 1131 ne 52
优化点说明
- 把原来的模糊匹配(
'id' in x)改为前缀精准匹配(startswith(prefix)),避免字符串中间包含前缀关键词导致的误分类 - 列规则完全外置,扩展列时仅需修改
col_prefix_map列表,适配17列乃至更多列的场景
内容的提问来源于stack exchange,提问作者K2A_Dev
相关产品推荐
相关产品推荐

