Pandas read_csv如何自动识别表头并清理注释与无效行？

原始文本文件内容：

@ some comment
@ some comment
@ [...]
@ some comment
* NAME   S    BX    BY
bla foo bar foo  
"ACF" 1  2  3
"BGB" 4  5  6
"CSD" 7  8  9

当前读取代码：

import pandas as pd

df=pd.read_csv('test.txt',sep="\s+|\t+|\s+\t+|\t+\s+",names=["Name","S","BX","BY"],skiprows=4)

需要解决两个核心问题：

1. 如何自动识别表头名称（首个表头字段* NAME包含特殊字符和分隔符，无法被自动检测）
2. 如何自动移除注释行和表头下方的无效行

解决方案 #

1. 自动识别表头名称 #

先逐行读取文件，定位到以*开头的表头行，再提取并清洗表头字段：

import pandas as pd

# 读取文件所有行
with open('test.txt', 'r') as f:
    lines = f.readlines()

# 定位表头行：找到以*开头的行
header_line_idx = None
for idx, line in enumerate(lines):
    stripped_line = line.strip()
    if stripped_line.startswith('*'):
        header_line_idx = idx
        break

# 提取表头并去掉开头的*
header = [col.strip() for col in lines[header_line_idx].strip().split() if col.strip()]
header[0] = header[0].lstrip('*').strip()

2. 移除注释行和无效行 #

通过行特征筛选有效数据：跳过@开头的注释行，以及不含引号/数字的无效行（根据你的数据格式调整判断逻辑）：

from io import StringIO

# 筛选有效数据行：从表头下一行开始处理
data_lines = []
for line in lines[header_line_idx+1:]:
    stripped_line = line.strip()
    # 跳过空行和注释行
    if not stripped_line or stripped_line.startswith('@'):
        continue
    # 判断有效行：包含引号或数字（适配你的数据格式）
    if '"' in stripped_line or any(char.isdigit() for char in stripped_line):
        data_lines.append(stripped_line)

完整可运行代码 #

import pandas as pd
from io import StringIO

with open('test.txt', 'r') as f:
    lines = f.readlines()

# 定位并处理表头
header_line_idx = None
for idx, line in enumerate(lines):
    stripped_line = line.strip()
    if stripped_line.startswith('*'):
        header_line_idx = idx
        break

header = [col.strip() for col in lines[header_line_idx].strip().split() if col.strip()]
header[0] = header[0].lstrip('*').strip()

# 筛选有效数据行
data_lines = []
for line in lines[header_line_idx+1:]:
    stripped_line = line.strip()
    if not stripped_line or stripped_line.startswith('@'):
        continue
    if '"' in stripped_line or any(char.isdigit() for char in stripped_line):
        data_lines.append(stripped_line)

# 生成DataFrame
df = pd.read_csv(StringIO('\n'.join(data_lines)), sep=r'\s+', names=header)
print(df)

运行后输出结果：

Name  S  BX  BY
0   ACF  1   2   3
1   BGB  4   5   6
2   CSD  7   8   9

内容的提问来源于stack exchange，提问作者Marvin Noll