如何用glob批量导入TXT文件并构建数组实现插值计算？

核心思路 #

借助glob批量匹配文件，结合pandas和numpy实现全自动化数据读取与格式统一，从根源避免手动逐个导入、类型转换的繁琐操作，同时提前校验数据维度，解决插值时的长度不匹配问题。

具体实现步骤 #

1. 批量读取并标准化数据 #

• 用glob.glob()按文件名规则匹配所有目标TXT文件，建议提前排序确保数据顺序对应温度序列
• 以第一个文件的波长数据作为基准（所有文件波长一致）
• 循环读取文件时直接提取流量数据并转为numpy数组，自动构建二维数组存储所有流量数据

import glob
import pandas as pd
import numpy as np
from scipy.interpolate import interp1d  # 以scipy插值为例，可替换为你使用的插值工具

# 匹配目标TXT文件，根据实际文件名调整通配符（比如"flow_*.txt"）
file_paths = sorted(glob.glob("*.txt"))

# 读取基准波长（第一个文件的波长列）
df_base = pd.read_csv(file_paths[0], sep="\t")  # 分隔符按需调整，比如逗号","
wavelengths = df_base["波长"].values  # 直接转为numpy数组

# 批量读取流量数据，自动构建二维数组
flow_array = []
for path in file_paths:
    df = pd.read_csv(path, sep="\t")
    flow_col = df["流量"].values
    # 提前校验数据长度，避免后续插值报错
    if len(flow_col) != len(wavelengths):
        raise ValueError(f"文件{path}的流量数据长度与波长不匹配")
    flow_array.append(flow_col)
flow_array = np.array(flow_array)  # 最终shape：(文件数量, 波长点数)

2. 结合温度数组完成插值 #

假设temp_array是与文件一一对应的温度数组（长度等于文件数量），直接对每个波长维度的流量-温度关系做插值：

# 示例温度数组，需与flow_array的行数严格对应
temp_array = np.array([25, 30, 35, 40, 45, 50])

# 为每个波长点生成插值函数
interp_funcs = [interp1d(temp_array, flow_array[:, idx], kind="linear") for idx in range(len(wavelengths))]

# 插值到目标温度序列（示例：生成20个均匀分布的温度点）
target_temps = np.linspace(25, 50, 20)
interpolated_result = np.array([func(target_temps) for func in interp_funcs]).T  # shape：(目标温度数, 波长点数)

关键优化点 #

• 自动类型转换：读取时直接提取values得到numpy数组，无需手动执行np.array(c_list[0])这类操作
• 前置数据校验：读取阶段就检查流量与波长的长度一致性，提前拦截错误，避免插值时才触发ValueError
• 向量式处理：利用numpy二维数组的列维度特性，批量处理所有波长点的插值逻辑，无需逐个遍历单文件数据
• 高扩展性：文件数量增加到上百个时，代码无需修改，仅需保证文件名匹配规则有效、温度数组与文件数对应

内容的提问来源于stack exchange，提问作者cosmic noise