如何将含cont分隔的TXT文件数据转换为Pandas DataFrame？

我需要将一个大型TXT文件中的数据读取到Pandas DataFrame中，该TXT文件格式如下：
elm1 x1 x2 x3 cont x4 x5 x6 cont x7 x8
elm2 x9 x10 x11 cont x12 x13 x14 cont x15 x16
……
期望生成的DataFrame结构为：

elm_ID	col1	col2	col3	col4	col5	col6	col7	col8
elm_1	x1	x2	x3	x4	x5	x6	x7	x8
elm_2	x9	x10	x11	x12	x13	x14	x15	x16

……
请问有实现思路吗？提前感谢！J.A.

嘿，这个需求很清晰，核心就是把带cont分隔符的行数据整理成规整的DataFrame。根据文件大小，给你两种实用方案：

方案一：逐行处理（超大型文件友好，内存高效） #

如果你的TXT文件特别大（比如几十GB），一次性加载到内存会爆掉，这种情况下逐行读取处理是最优解：

• 打开文件后逐行读取，避免一次性加载全部内容
• 拆分每一行的字符串，过滤掉所有cont标记
• 提取第一个元素作为elm_ID，剩下的8个数值对应目标DataFrame的8列
• 收集所有行的数据后再转为DataFrame

import pandas as pd

data_rows = []
# 用with语句自动管理文件资源，避免内存泄漏
with open('your_large_file.txt', 'r', encoding='utf-8') as file:
    for line in file:
        # 去除行首尾的空白字符，按空格拆分内容
        split_parts = line.strip().split()
        # 过滤掉所有'cont'分隔符
        cleaned_parts = [part for part in split_parts if part != 'cont']
        # 第一个元素是elm_ID，后面的是列数据
        elm_id = cleaned_parts[0]
        column_values = cleaned_parts[1:]
        # 添加到数据列表
        data_rows.append([elm_id] + column_values)

# 转为DataFrame并设置列名
final_df = pd.DataFrame(
    data_rows,
    columns=['elm_ID', 'col1', 'col2', 'col3', 'col4', 'col5', 'col6', 'col7', 'col8']
)

# 把数值列转为对应的类型（根据你的数据调整，比如int或float）
final_df.iloc[:, 1:] = final_df.iloc[:, 1:].astype(float)

方案二：Pandas快速读取+清洗（代码简洁，适合中等大小文件） #

如果文件大小在内存可承受范围内，用Pandas的read_csv配合列过滤会更简洁：

• 用read_csv读取文件，以任意数量空格作为分隔符
• 过滤掉所有包含cont值的列
• 直接给过滤后的列设置目标表头即可

import pandas as pd

# 读取原始文件，sep='\s+'匹配任意数量的空格，header=None表示文件没有表头
raw_df = pd.read_csv('your_large_file.txt', sep='\s+', header=None, encoding='utf-8')

# 过滤掉所有存在'cont'值的列（axis=1表示按列处理）
cleaned_df = raw_df.loc[:, ~raw_df.isin(['cont']).any(axis=0)]

# 设置目标列名
cleaned_df.columns = ['elm_ID', 'col1', 'col2', 'col3', 'col4', 'col5', 'col6', 'col7', 'col8']

# 转换数值列类型
cleaned_df.iloc[:, 1:] = cleaned_df.iloc[:, 1:].astype(float)

额外小贴士 #

• 处理前可以先取几行测试代码，确保逻辑正确再处理整个文件
• 如果你的数值是整数，把astype(float)改成astype(int)即可
• 超大型文件也可以考虑用chunksize参数分块读取，和方案一思路类似但用Pandas内置的分块功能

内容的提问来源于stack exchange，提问作者Alvarez