无列矩阵转字典的高效Python实现方案求助

问题概述 #

需读取无列名的文本文件，每行包含8个输入条目加1个输出字段，要给前8个条目指定Col1至Col8的列名，同时提取第9个字段作为输出数据。现有Pandas实现代码运行缓慢，需更高效的替代方案。

现有代码的性能问题 #

当前代码存在核心效率瓶颈：

• 循环中使用np.append动态扩展数组，每次操作都会重新分配内存，数据量越大性能越差
• 逐行遍历DataFrame未利用Pandas的向量化操作优势，冗余的自定义函数进一步增加了计算开销

优化方案 #

方案1：优化后的Pandas实现 #

利用Pandas内置功能，避免低效循环和内存操作：

import pandas as pd

# 直接读取文件并指定列名
df = pd.read_csv(
    "drive/MyDrive/Test.TxT",
    header=None,
    names=['Col1', 'Col2', 'Col3', 'Col4', 'Col5', 'Col6', 'Col7', 'Col8', 'Output']
)

# 生成结构化的输入数据字典列表
input_data = df.iloc[:, :8].to_dict('records')
# 提取输出数据
output_data = df['Output'].values.tolist()

# 按目标格式输出每行内容
for row in df.itertuples(index=False):
    dict_str = '{' + ','.join([f"Col{i+1}:{getattr(row, f'Col{i+1}')}" for i in range(8)]) + '}'
    print(f"{dict_str},{row.Output}")

方案2：纯Python原生实现（超大数据量首选） #

直接逐行读取处理，避免Pandas的额外内存开销，适合超大文件：

input_data = []
output_data = []

with open("drive/MyDrive/Test.TxT", 'r', encoding='utf-8') as f:
    for line in f:
        line = line.strip()
        if not line:
            continue
        # 分割为前8个输入字段和第9个输出字段
        parts = line.split(',', maxsplit=8)
        input_fields, output_field = parts[:8], parts[8]
        
        # 生成列名字典
        row_dict = {f'Col{i+1}': field for i, field in enumerate(input_fields)}
        input_data.append(row_dict)
        output_data.append(output_field)
        
        # 输出目标格式内容
        dict_str = '{' + ','.join([f"Col{i+1}:{input_fields[i]}" for i in range(8)]) + '}'
        print(f"{dict_str},{output_field}")

方案对比 #

• 优化Pandas方案：代码简洁，保留Pandas后续数据处理能力，适合中等规模数据
• 原生Python方案：内存占用低，处理超大规模文件时速度更快，无第三方依赖

输出示例 #

{Col1:2106040200,Col2:275020300,Col3:243020300,Col4:2640102010,Col5:21180204020,Col6:156050100,Col7:286040200,Col8:1640102010},0
{Col1:275020300,Col2:243020300,Col3:2640102010,Col4:21180204020,Col5:156050100,Col6:286040200,Col7:1640102010,Col8:156040200},1 30 130

内容的提问来源于stack exchange，提问作者Magdi