如何用更Pythonic的高效代码实现管道分隔数据转目标结构DataFrame
代码优化方向
- 清理调试残留:原代码中
print(each_entry_list)是开发时的调试语句,正式逻辑里会额外产生IO开销,直接移除即可。 - 简化嵌套结构:原代码先为每一行构建子列表
upload_list,再收集到final_db_list中,最后通过嵌套列表推导展平,整个过程多了一层无意义的列表嵌套。可以直接将单条记录追加到全局结果列表,省掉展平步骤。 - 替换索引硬编码写法:原代码通过
each_entry_list[3+i]的方式按索引取值,可读性差,容易因为索引偏移、长度不匹配触发报错。可以切取出值对应的片段,通过zip和field_list按顺序配对,逻辑更直观。 - 复用pandas原生能力:既然最终需要生成DataFrame,完全可以借助pandas内置的文本解析能力处理管道分隔的原始字符串,不需要手动逐行执行
splitlines、split('|')的重复操作。 - 适配边界场景:原始字符串每行结尾的管道符会产生一个空的尾元素,解析时可以自动过滤这类无效值,避免Value列出现无意义的空字符串。
优化后参考实现
import pandas as pd field_list = ['some_value', 'some_other_value'] db_columns = ['Str', 'Measure', 'Value'] raw_data = """sring1|0|2|N.S.|3| sring2|0|2|N.S.|2| sring3|0|2|3|5|""" # 直接通过pandas解析管道分隔的原始文本 raw_parsed = pd.read_csv( pd.io.common.StringIO(raw_data), sep='|', header=None ) records = [] for _, row in raw_parsed.iterrows(): str_content = row[0].strip() valid_count = int(row[2]) # 按有效计数配对字段和对应值 for field, value in zip(field_list[:valid_count], row[3:3+valid_count]): records.append([str_content, field, value]) df = pd.DataFrame(records, columns=db_columns) print(df)
内容的提问来源于stack exchange,提问作者Avi G
相关产品推荐
相关产品推荐

