如何用Python从指定网站下载多份CSV文件？遇连接问题求助

尝试从MISO市场报告页面获取Day-Ahead Market ExPost LMPs的CSV数据时，使用pd.read_csv()直接访问页面URL出现以下错误：

URLError: <urlopen error [Errno 23] Host is unreachable>

错误原因 #

1. URL指向错误：你使用的是网页的前端路由URL（带#锚点），该地址对应网页而非直接的CSV文件。服务器不会处理URL中#后的内容，pandas无法从这个地址获取CSV数据。
2. 访问限制/网络问题：MISO服务器可能拦截脚本直接访问，或者你的网络环境无法直接连接到目标服务器。

解决方案1：手动下载后读取（快速可行） #

1. 打开目标网页，找到Day-Ahead Market ExPost LMPs对应的CSV文件列表
2. 下载需要的CSV文件到本地
3. 使用pandas读取本地文件：

import pandas as pd
# 替换为你的本地文件路径
df = pd.read_csv("./day_ahead_lmp.csv", skiprows=5)
df.head()

解决方案2：自动化获取下载链接并读取（适合批量处理） #

MISO的市场报告页面为动态加载，需先解析页面获取实际CSV下载链接，再进行读取：

步骤1：安装依赖 #

pip install requests beautifulsoup4

步骤2：编写自动化代码 #

import requests
import pandas as pd
from bs4 import BeautifulSoup
import urllib3

# 禁用SSL证书警告
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

base_domain = "https://www.misoenergy.org"
page_path = "/markets-and-operations/real-time--market-data/market-reports#nt=/MarketReportType:Historical%20LMP/MarketReportName:Day-Ahead%20Market%20ExPost%20LMPs%20(csv)"

# 模拟浏览器请求头，避免被服务器拦截
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36"
}

try:
    # 获取页面内容
    response = requests.get(base_domain + page_path, headers=headers, verify=False)
    response.raise_for_status()
    
    # 解析页面提取CSV链接
    soup = BeautifulSoup(response.text, "html.parser")
    # 根据页面结构筛选CSV下载链接（可根据需求调整筛选逻辑）
    csv_links = soup.find_all("a", href=True, text=lambda t: t and ".csv" in str(t))
    
    if csv_links:
        # 取第一个符合条件的链接（可根据日期等筛选特定文件）
        csv_url = csv_links[0]["href"]
        # 处理相对链接
        if not csv_url.startswith("http"):
            csv_url = base_domain + csv_url
        
        # 读取CSV数据
        df = pd.read_csv(csv_url, skiprows=5, verify=False)
        print(df.head())
    else:
        print("未找到目标CSV文件链接")
except requests.exceptions.RequestException as e:
    print(f"请求失败: {str(e)}")

注意事项 #

• MISO的页面结构可能会更新，需定期检查并调整BeautifulSoup的筛选逻辑
• 若仍出现主机不可达错误，检查网络连接状态，或尝试使用代理访问

内容的提问来源于stack exchange，提问作者Unfazed