使用Pandas处理自定义制表符TXT文件：修复列值错位问题

数据格式说明 #

我有一个制表符分隔的TXT文件，格式如下：

10/16/2025    10:40 AM    some_comment     23.806     10.5    ....(some more values here)
                Xu   5.62    61.04   65.49
                Xv   4.32    63.21   62.47
                Xx   4.26    62.24   64.28
                Xy   3.85    68.66   67.21
                Xz   1.78    63.93   64.39
  
10/16/2025    10:41 AM    some_comment     23.806     10.5    ....(some more values here)
                Xu   4.62    51.04   15.49
                Xv   3.32    93.54   62.33
                Xx   6.26    32.55   34.49
                Xy   2.85    68.67   57.56
                Xz   9.78    33.04   94.73
  
...

每个数据块包含6行且重复出现：

• 第一行含日期、时间、注释及25个数值，需按位置命名为Val_A、Val_B等
• 后续5行是Xu、Xv等传感器及其对应数值

期望最终DataFrame结构为：
Datetime, Xu, Xv, Xx, Xy, Xz, comments, Val_A, Val_B, another_name,...

尝试的代码 #

我写了以下代码，但运行后出现列名被数值填充的问题：

def parse_custom_txt(filepath):
    data = []
    with open(filepath, 'r') as file:
        lines = [line.strip() for line in file if line.strip()]
    
    i = 0
    while i < len(lines):
        if "/" in lines[i]:
            parts = lines[i].split('\t')
            dt = f"{parts[0]} {parts[1]}"
            comment = parts[2]
            main_vals = [v for v in parts[3:] if v.strip()]
            i += 1
            sensors = {}
            for _ in range(5):
                sensor_line = lines[i].split('\t')
                sensors[sensor_line[0].strip()] = [float(v) for v in sensor_line[1:] if v.strip()]
                i += 1
            row = [dt] + [sensors.get(k, []) for k in ['Xu', 'Xv', 'Xx', 'Xy', 'Xz']] + [comment] + main_vals
            data.append(row)
        else:
            i += 1
    return pd.DataFrame(data)

解决方案 #

问题根源

1. 构建row时，传感器值是列表类型（比如sensors['Xu']是[5.62,61.04,65.49]），导致每行元素嵌套列表，DataFrame解析逻辑混乱，把第一行数值误当作列名。
2. 未显式指定列名，DataFrame自动用第一行数据生成列名，引发异常。
3. 主数值main_vals保留了字符串类型，未转为数值类型，不符合数据需求。

修正后的代码

import pandas as pd

def parse_custom_txt(filepath):
    # 按需求顺序定义完整列名，补充剩余22个数值列名
    column_names = [
        'Datetime', 'Xu', 'Xv', 'Xx', 'Xy', 'Xz', 'comments',
        'Val_A', 'Val_B', 'Val_C', 'Val_D',  # 示例：继续补全到25个数值列名
        # ... 此处添加剩余数值列名
    ]
    
    data = []
    with open(filepath, 'r') as file:
        # 保留原始行格式，避免丢失传感器行的前缀分隔信息
        lines = [line.rstrip('\n') for line in file if line.strip()]
    
    i = 0
    while i < len(lines):
        if "/" in lines[i]:
            # 分割第一行的制表符分隔内容
            parts = lines[i].split('\t')
            # 合并日期与时间字符串
            dt_str = f"{parts[0].strip()} {parts[1].strip()}"
            # 提取注释内容
            comment = parts[2].strip()
            # 转换主数值为float类型
            main_vals = [float(v.strip()) for v in parts[3:] if v.strip()]
            i += 1
            
            # 收集传感器数据，此处假设每个传感器对应单个数值（多数值需扩展列名）
            sensors = {}
            for _ in range(5):
                sensor_parts = lines[i].split('\t')
                sensor_name = sensor_parts[0].strip()
                sensor_vals = [float(v.strip()) for v in sensor_parts[1:] if v.strip()]
                # 取第一个数值作为传感器列值（多数值场景需调整为多列）
                sensors[sensor_name] = sensor_vals[0]
                i += 1
            
            # 按列名顺序构建单行数据
            row = [
                dt_str,
                sensors.get('Xu', None),
                sensors.get('Xv', None),
                sensors.get('Xx', None),
                sensors.get('Xy', None),
                sensors.get('Xz', None),
                comment
            ] + main_vals
            
            data.append(row)
        else:
            i += 1
    
    # 显式指定列名创建DataFrame
    df = pd.DataFrame(data, columns=column_names)
    # 可选：将Datetime列转为datetime类型
    df['Datetime'] = pd.to_datetime(df['Datetime'])
    return df

关键修改点

• 显式定义列名：提前按需求顺序写出所有列名，创建DataFrame时传入columns参数，彻底避免自动用数据生成列名的问题。
• 扁平化传感器数据：将传感器的列表值转为单个值（如果是多数值场景，需对应扩展列名如Xu_1、Xu_2），保证每行元素都是单一值。
• 类型统一转换：将主数值和传感器值都转为float类型，确保数据类型符合分析需求。
• 保留原始行格式：读取时不直接strip()整行，避免丢失传感器行的前缀分隔信息，分割后再单独处理每个元素的空格。

内容的提问来源于stack exchange，提问作者sler