使用Pandas解析分块大文本,提取指定字段生成目标CSV的实现方法
可落地实现方案
针对大文本文件的块结构解析,兼顾内存占用和提取效率,核心思路是按块流式扫描、只保留需要的字段、跳过冗余信息,完全适配你要的三列表格输出。
方案1:逐行流式解析(推荐,适配任意大小文件)
这种方式全程不会把整个文件加载到内存,哪怕几十G的文本文件也能正常处理,不会出现内存溢出的问题,是大文件处理的最稳方案。
实现逻辑
- 提前设定临时变量存当前扫描块的三个目标值:
current_name、current_age、current_height - 逐行读取文件内容,遇到块开头标记(
# -- 姓名 --)时,把上一个块攒好的数据存入结果列表,重置临时变量后记录新块的姓名 - 遇到普通键值行时,拆分键名和值,只匹配
age、height两个目标字段,其余字段直接跳过不做存储 - 扫完文件所有行后,把最后一个块的剩余数据补进结果列表
- 把结果列表直接导入Pandas生成DataFrame,导出为指定格式的CSV即可
参考代码
import pandas as pd import re # 初始化结果列表和临时变量 result = [] current_name, current_age, current_height = None, None, None # 匹配块开头的正则 block_pattern = re.compile(r'^# -- (.*?) --$') # 逐行读文件,每次只读一行,内存占用极低 with open("your_large_file.txt", "r", encoding="utf-8") as f: for line in f: line = line.strip() if not line: continue # 跳过空行 # 判断是否是新块的开头 block_match = block_pattern.match(line) if block_match: # 先把上一个块的数据存下来(第一个块的时候current_name是None,跳过就行) if current_name is not None: result.append({ "Name": current_name, "Age": current_age, "Height": current_height }) # 重置临时变量,记录新块名 current_name = block_match.group(1) current_age, current_height = None, None continue # 处理普通键值对 if ":" in line: key, value = line.split(":", 1) # 只split第一个冒号,避免值里带冒号出问题 key = key.strip().lower() value = value.strip() if key == "age": current_age = value elif key == "height": current_height = value # 别忘了把最后一个块的数据加进去 if current_name is not None: result.append({ "Name": current_name, "Age": current_age, "Height": current_height }) # 生成DataFrame导出CSV df = pd.DataFrame(result) df.to_csv("output.csv", index=False)
方案2:正则批量提取(适合2G以内的中等大小文件)
如果文件体积不算特别大,可以直接用正则一次性抓取所有目标字段,代码更简洁,处理速度更快:
- 用正则匹配每个块的结构,一次性抓块名、块内的age值、块内的height值
- 直接把抓取的结果传给Pandas生成表格
注意:这个方法需要把整个文件读入内存,超过2G的文件不建议用,容易触发内存溢出。
常见踩坑提醒
- 键值行的冒号格式不统一(有的带空格、有的不带),拆分时一定要把键和值的首尾空白全部清理,不要按固定字符位置硬切
- 部分块可能缺失
age或height字段,代码里要兼容空值,不要因为缺字段直接报错中断 - 你的目标输出里高度是带逗号的字符串(如
1,8),不要在解析阶段强制转成浮点数,避免把原始格式的逗号弄丢
内容的提问来源于stack exchange,提问作者Debon54
相关产品推荐
相关产品推荐

