Python新手导入不规则逗号分隔txt,合并多行生成指定pandas DataFrame
固定行块合并导入pandas的实操方案
你当前的场景对应的核心搜索关键词可以用:pandas 每N行合并为一行 文本导入、行分块拼接 解析CSV格式文本。
实现步骤
- 不要直接对原txt使用
pd.read_csv,因为原文件每3行才构成一个完整的逗号分隔记录,直接读取会出现列错位 - 先将文件按原始行读取,按固定3行的大小切分为独立数据块,把每个块的内容直接字符串拼接成完整的单行记录
- 将拼接完成的所有完整记录,再传给pandas解析为结构化DataFrame
可直接运行的示例代码
import pandas as pd from io import StringIO # 读取原始文件所有行,过滤多余空行 with open("待处理文件.txt", "r", encoding="utf-8") as f: raw_lines = [line.strip() for line in f if line.strip()] # 每3行切分一个数据块,拼接成完整行 chunk_row_count = 3 merged_records = [] for start_idx in range(0, len(raw_lines), chunk_row_count): block_lines = raw_lines[start_idx:start_idx + chunk_row_count] merged_records.append("".join(block_lines)) # 解析拼接后的完整记录为DataFrame,可自定义表头 df = pd.read_csv( StringIO("\n".join(merged_records)), header=None, # 此处替换为你实际需要的表头名,共11个字段 names=["col1", "col2", "col3", "col4", "col5", "col6", "col7", "col8", "col9", "col10", "col11"] )
注意事项
- 你的文本中第二、第三拆分好的行本身开头就带有逗号,直接字符串拼接即可,不会出现多余分隔符的解析错误
- 如果后续文件的拆分行数规则变化,只需要调整
chunk_row_count的数值即可复用整套逻辑 - 如果文件存在多余空行,提前过滤的步骤可以避免拼接出无效记录
内容的提问来源于stack exchange,提问作者ravenb
相关产品推荐
相关产品推荐

