如何利用pandas read_csv跳过不定长表头读取指定行后的数据？

当然可以搞定这个需求！针对不定长表头的情况，我们可以先定位到Measurement values:这一行，再用skiprows跳过前面的内容，精准读取目标数据。下面给你几种实用的方法：

方法1：先扫描文件定位目标行（适合大文件） #

这种方法会先快速扫一遍文件，找到目标字符串所在的行号，再用skiprows跳过前面所有行，效率很高，尤其适合大体积的实验数据文件：

import pandas as pd

# 定义我们要找的标记行
target_line = 'Measurement values:'

# 先打开文件，逐行计数直到找到目标行
skip_count = 0
with open('your_experiment_file.txt', 'r') as f:
    for line in f:
        if target_line in line.strip():
            break
        skip_count += 1

# 注意：如果目标行之后才是数据，要把目标行本身也跳过，所以skiprows=skip_count+1
# 如果目标行就是数据的表头行，那直接用skiprows=skip_count即可
df = pd.read_csv(
    'your_experiment_file.txt',
    skiprows=skip_count + 1,
    sep='\s+'  # 根据你的文件实际分隔符调整，比如逗号用','，制表符用'\t'
)

方法2：一次性读取所有行再切片（适合小文件） #

如果你的数据文件不大，也可以先把所有内容读到内存里，找到目标位置后再截取数据部分转为DataFrame，这种方式更直观：

import pandas as pd
from io import StringIO

target_line = 'Measurement values:'

# 读取文件所有行
with open('your_experiment_file.txt', 'r') as f:
    all_lines = f.readlines()

# 找到目标行的索引，数据从下一行开始
start_index = None
for idx, line in enumerate(all_lines):
    if target_line in line.strip():
        start_index = idx + 1
        break

# 把数据行转为可读取的字符串流，再用read_csv处理
data_stream = StringIO(''.join(all_lines[start_index:]))
df = pd.read_csv(data_stream, sep='\s+')

一些关键注意事项 #

• 分隔符调整：一定要根据你的文件实际分隔符修改sep参数，比如实验数据常用空格分隔（用sep='\s+'匹配多个空格）、制表符（sep='\t'）或者逗号（sep=','）。
• 目标行判断：如果Measurement values:这一行本身就是数据的表头（后面跟着列名），那记得把start_index = idx + 1改成start_index = idx，不要多跳一行。
• 大文件适配：如果文件特别大，优先选方法1，因为它不需要把整个文件加载到内存，只是逐行扫描到目标行就停止，内存占用更低。

内容的提问来源于stack exchange，提问作者opprud