如何用Pandas从含全局参数的CSV读取实验室测量数据？

以下几个开箱即用的方案，无需编写自定义解析器，可满足你的需求：

方案1：纯Pandas分阶段读取 #

利用Pandas的read_csv参数分别解析参数和数据，灵活适配格式变化：

import pandas as pd

# 1. 获取测量数据的起始行号
with open('mydata.dat', 'r') as f:
    data_start_row = None
    for idx, line in enumerate(f):
        if '## Measurement data' in line:
            data_start_row = idx + 1
            break

# 2. 读取全局参数：跳过注释行和空行，解析键值对
params = pd.read_csv(
    'mydata.dat',
    comment='#',
    sep='=',
    header=None,
    names=['param', 'value'],
    skip_blank_lines=True
)
param_dict = params.set_index('param')['value'].astype(float).to_dict()
a, b = param_dict['a'], param_dict['b']

# 3. 读取测量数据
data = pd.read_csv('mydata.dat', skiprows=data_start_row)

# 示例计算函数
def func(a, data):
    data['cal_y'] = data['y'] + a * data['x']
    return data

result = func(a, data)
print(result)

这个方案完全依赖Pandas原生功能，通过识别## Measurement data标记自动定位数据起始位置，无需硬编码行数。

方案2：结合标准库configparser解析参数 #

如果参数数量较多或需要更规范的配置解析，可利用Python标准库configparser：

import pandas as pd
import configparser
from io import StringIO

# 1. 读取文件内容并拆分参数、数据部分
with open('mydata.dat', 'r') as f:
    full_content = f.read()
param_section, data_section = full_content.split('## Measurement data')

# 2. 用configparser解析参数：添加默认配置段适配格式
config_str = '[DEFAULT]\n' + param_section.replace('## Global parameters', '').strip()
config = configparser.ConfigParser()
config.read_string(config_str)

a = float(config['DEFAULT']['a'])
b = float(config['DEFAULT']['b'])

# 3. 读取测量数据
data = pd.read_csv(StringIO(data_section.strip()))

# 示例计算
def func(a, data):
    data['cal_y'] = data['y'] + a * data['x']
    return data

result = func(a, data)
print(result)

该方案借助成熟的配置解析工具处理参数，适合参数结构复杂的场景。

内容的提问来源于stack exchange，提问作者Julia