You need to enable JavaScript to run this app. Python 3.x 遍历指定GitHub远程目录获取CSV文件路径失败
优惠活动
大模型
产品
解决方案
定价
更多

Python 3.x 遍历指定GitHub远程目录获取CSV文件路径失败

报错根因
  • os、glob模块仅支持操作本地文件系统,无法对HTTP远程链接发起请求、解析远程目录结构:
    • 向os.listdir()传入URL字符串时,Windows系统会将其判定为非法本地文件名,直接触发WinError 123路径语法错误
    • glob仅会扫描本地磁盘匹配文件,不会访问远程网络资源,因此无论传入的URL是否合法,都会返回空列表
  • 自行拼接的base_raw_url格式存在错误:GitHub网页浏览地址中用于标识目录的/tree/路径段,不存在于raw文件的URL结构中,raw文件的合法路径规则为 https://raw.githubusercontent.com/[账号名]/[仓库名]/[分支名]/[文件相对仓库的完整路径],拼接错误的URL本身无法访问到文件
实现方案(基于GitHub官方Contents API)

通过GitHub官方提供的目录查询接口,可直接获取指定目录下所有文件的元数据(包含官方校验的合法raw文件下载地址),无需解析网页HTML、手动拼接路径,稳定性最高。

可运行代码

import requests

# 目标目录对应的API查询地址,指定分支为master
api_url = "https://api.github.com/repos/CSSEGISandData/COVID-19/contents/csse_covid_19_data/csse_covid_19_time_series?ref=master"

resp = requests.get(api_url, timeout=10)
resp.raise_for_status()  # 请求异常时直接抛出错误,便于排查
dir_items = resp.json()

# 过滤出所有CSV文件,提取官方提供的完整可下载URL
csv_url_list = [
    item["download_url"]
    for item in dir_items
    if item["type"] == "file" and item["name"].endswith(".csv")
]

print(csv_url_list)

补充说明

  • 无身份认证的GitHub API每小时有60次请求限额,遍历单个目录完全够用;如果需要批量遍历大量目录,可在请求头中传入个人GitHub访问令牌提升限额
  • 接口返回的download_url可直接传给pandas.read_csv()读取文件内容,无需额外处理路径

内容的提问来源于stack exchange,提问作者artemis

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.25 20:57:03