Python动态DataFrame转换:不规则层级结构表转标准宽表实现
不规则分块结构DataFrame转规整宽表实现方案
基于你提出的「正则识别打分区标记再转宽表」的思路,不需要硬编码任何未知的registry数量、属性数量、取值数量,完全适配动态变化的分块结构,实现步骤如下:
核心实现逻辑
按照原始DataFrame的块结构特征,先锚定每个独立registry块的边界,再把块内的元数据(registry名称、对应key)传递到下属所有属性行,最后把多取值的属性行拆分后转成要求的宽表结构。
分步操作
1. 锚定块边界,生成分区ID
- 用正则匹配col1列中符合
x. registry格式的行,标记为块的起始行 - 对所有块起始行的标记做累计求和(
cumsum),生成全局连续的block_id列,每遇到一个新的registry块,block_id就累加1,保证同一块内的所有行共享同一个block_id,跨块不会串数据 - 识别规则:
df['col1'].str.match(r'^\d+\. registry$', na=False),无论registry总数多少,都能动态识别所有块起点
2. 按块提取静态元数据
- 从块起始行中提取registry名称:去掉文本末尾的
. registry后缀,按block_id建立映射关系 - 从块内识别key行:匹配col1列中符合
keyX格式的行,提取key值按block_id建立映射关系——因为单块对应唯一key,直接取块内唯一匹配行即可,不需要额外校验去重
3. 拆分属性行的多取值
- 识别col1列中符合
attributeX格式的属性行,保留每行col1的属性名作为后续宽表的列名 - 对属性行中col2、col3、col4存储的多平行取值,做宽转长拆分:把col2-col4的内容逐行拆成单条记录,删掉空值,最终每一行对应「某个块下、某个属性的某一个单取值」的结构,完全匹配“每个属性取值单独占一行”的要求
- 拆列逻辑动态适配:不需要固定col2-col4,可自动识别所有非col1的存储列,哪怕后续新增取值列也不需要改代码
4. 合并生成最终宽表
- 把拆分好的属性单值表,和之前按block_id映射的Registry、Key信息做关联
- 把属性名列做透视(pivot)转成独立列,没有对应取值的位置统一填充为
NA,即得到要求的规整宽表
可直接复用的动态代码
import pandas as pd # ---------------------- # 动态识别逻辑,无硬编码 # ---------------------- # 锚定registry块边界 df['is_registry'] = df['col1'].str.match(r'^\d+\. registry$', na=False) df['block_id'] = df['is_registry'].cumsum() # 生成registry映射表 registry_map = ( df[df['is_registry']] .set_index('block_id')['col1'] .str.replace(r'\s*\. registry$', '', regex=True) .rename('Registry') ) # 生成key映射表 df['is_key'] = df['col1'].str.match(r'^key\d+$', na=False) key_map = ( df[df['is_key']] .set_index('block_id')['col1'] .rename('Key') ) # 筛选所有属性行 attr_rows = df[df['col1'].str.match(r'^attribute\d+$', na=False)].copy() attr_rows['attr_name'] = attr_rows['col1'] # 动态识别所有存储属性取值的列(除col1、以及临时生成的标记列) value_cols = [col for col in df.columns if col.startswith('col') and col != 'col1'] # 拆分多取值为长表,单个属性的多个取值会自然生成多行记录,匹配需求中“每个取值单独占一行”的要求 attr_long = attr_rows.melt( id_vars=['block_id', 'attr_name'], value_vars=value_cols, value_name='attr_value' ).dropna(subset=['attr_value']) # 合并元数据 long_data = attr_long.join(registry_map, on='block_id').join(key_map, on='block_id') # 透视转宽表 final_table = long_data.pivot( index=['Registry', 'Key'], columns='attr_name', values='attr_value' ).reset_index().fillna('NA')
适配说明
- 所有正则匹配规则可根据实际文本格式微调,比如registry文本的空格、序号格式变化,只需要调整正则表达式即可,不需要修改整体逻辑
- 不管单块下有多少个属性、单个属性有多少个取值、总共有多少个registry,代码都能自动识别适配,不需要硬编码列名或块数量
- 原始DataFrame的存储列数如果变化,代码会自动识别所有col开头的取值列,不会因为列数变化报错
内容的提问来源于stack exchange,提问作者trefa
相关产品推荐
相关产品推荐

