Python 3.x 遍历指定GitHub远程目录获取CSV文件路径失败
报错根因
os、glob模块仅支持操作本地文件系统,无法对HTTP远程链接发起请求、解析远程目录结构:- 向
os.listdir()传入URL字符串时,Windows系统会将其判定为非法本地文件名,直接触发WinError 123路径语法错误 glob仅会扫描本地磁盘匹配文件,不会访问远程网络资源,因此无论传入的URL是否合法,都会返回空列表
- 向
- 自行拼接的
base_raw_url格式存在错误:GitHub网页浏览地址中用于标识目录的/tree/路径段,不存在于raw文件的URL结构中,raw文件的合法路径规则为https://raw.githubusercontent.com/[账号名]/[仓库名]/[分支名]/[文件相对仓库的完整路径],拼接错误的URL本身无法访问到文件
实现方案(基于GitHub官方Contents API)
通过GitHub官方提供的目录查询接口,可直接获取指定目录下所有文件的元数据(包含官方校验的合法raw文件下载地址),无需解析网页HTML、手动拼接路径,稳定性最高。
可运行代码
import requests # 目标目录对应的API查询地址,指定分支为master api_url = "https://api.github.com/repos/CSSEGISandData/COVID-19/contents/csse_covid_19_data/csse_covid_19_time_series?ref=master" resp = requests.get(api_url, timeout=10) resp.raise_for_status() # 请求异常时直接抛出错误,便于排查 dir_items = resp.json() # 过滤出所有CSV文件,提取官方提供的完整可下载URL csv_url_list = [ item["download_url"] for item in dir_items if item["type"] == "file" and item["name"].endswith(".csv") ] print(csv_url_list)
补充说明
- 无身份认证的GitHub API每小时有60次请求限额,遍历单个目录完全够用;如果需要批量遍历大量目录,可在请求头中传入个人GitHub访问令牌提升限额
- 接口返回的
download_url可直接传给pandas.read_csv()读取文件内容,无需额外处理路径
内容的提问来源于stack exchange,提问作者artemis
相关产品推荐
相关产品推荐

