如何使用Pandas读取URL中的TXT文件并提取分隔线间的数值数据

我完全理解你的需求——用Pandas代替手动的with open来快速提取数据，但头疼的是这类文件的头部行数不固定，没法硬写skiprows参数。好在所有文件都有两条--------分隔线，我们可以靠这个定位数据区域，下面是具体的解决方案：

核心思路 #

先定位两条分隔线的位置，然后只读取它们之间的内容，不管前后有多少行无关数据。

1. 本地文件的处理方法 #

首先写一个辅助函数，用来找到分隔线的位置，顺便提取表头（表头就在第一条分隔线的上一行）：

def get_data_bounds(file_path):
    separator_positions = []
    header = None
    with open(file_path, 'r') as f:
        lines = f.readlines()
        for idx, line in enumerate(lines):
            stripped_line = line.strip()
            # 检查是否是全短横线的分隔线
            if stripped_line.startswith('---') and all(char == '-' for char in stripped_line):
                separator_positions.append(idx)
                # 第一条分隔线的上一行就是表头
                if len(separator_positions) == 1:
                    header = lines[idx-1].strip().split()
    # 确保找到两条分隔线
    if len(separator_positions) != 2:
        raise ValueError("目标文件中未找到两条有效的分隔线")
    return separator_positions[0], separator_positions[1], header

然后用Pandas读取指定区域的数据：

import pandas as pd

# 替换成你的本地文件路径
file_path = "your_climate_data.txt"
start_sep, end_sep, header_cols = get_data_bounds(file_path)

# 读取分隔线之间的内容
df = pd.read_csv(
    file_path,
    skiprows=start_sep + 1,  # 跳过第一条分隔线及之前的所有行
    nrows=end_sep - start_sep - 1,  # 只取两条分隔线之间的行数
    delim_whitespace=True,  # 数据是空格分隔，不是逗号
    header=None,
    names=header_cols  # 用提取到的表头命名列
)

# 查看结果
print(df.head())

2. 远程URL文件的处理方法 #

如果你的文件是随日期变化的URL链接，我们可以先把文件内容下载到内存，再重复上面的逻辑：

import pandas as pd
import requests
from io import StringIO

def get_data_bounds_from_url(url):
    response = requests.get(url)
    response.raise_for_status()  # 确保请求成功
    lines = response.text.splitlines()
    separator_positions = []
    header = None
    for idx, line in enumerate(lines):
        stripped_line = line.strip()
        if stripped_line.startswith('---') and all(char == '-' for char in stripped_line):
            separator_positions.append(idx)
            if len(separator_positions) == 1:
                header = lines[idx-1].strip().split()
    if len(separator_positions) != 2:
        raise ValueError("目标文件中未找到两条有效的分隔线")
    return separator_positions[0], separator_positions[1], header, lines

# 替换成你的实际URL
data_url = "https://example.com/climate_data_jun2020.txt"
start_sep, end_sep, header_cols, all_lines = get_data_bounds_from_url(data_url)

# 提取中间的数据行，拼接成字符串后读取
data_content = '\n'.join(all_lines[start_sep+1 : end_sep])
df = pd.read_csv(
    StringIO(data_content),
    delim_whitespace=True,
    header=None,
    names=header_cols
)

print(df.head())

关键细节说明 #

• delim_whitespace=True：因为你的数据是用空格分隔的，不是标准的逗号CSV，这个参数能让Pandas正确识别空格分隔的字段。
• 动态表头提取：通过第一条分隔线的上一行获取表头，避免了手动写列名的麻烦，也适配不同文件可能的表头变化。
• 容错处理：加入了分隔线数量检查，避免因文件格式异常导致的错误。

内容的提问来源于stack exchange，提问作者john