如何从外部获取Open LLM Leaderboard的可机器读取DataFrame?
问题:如何获取Open LLM Leaderboard的可机器读取格式数据?
我关注了Open LLM Leaderboard页面,该数据表极具价值,希望以可机器读取的格式下载它。但该项目仓库中没有生成对应的静态文件,而是通过执行app.py从一个私有评估仓库生成leaderboard DataFrame。
我尝试使用Docker命令运行,但执行失败,报错信息如下:
$ docker run -it -p 7860:7860 \ --platform=linux/amd64 \ -e H4_TOKEN=hf_nottherealtokenweorpqweruuoid \ -e IS_PUBLIC=true \ registry.hf.space/huggingfaceh4-open-llm-leaderboard:latest \ python app.py ... Cloning into '.'... remote: Repository not found fatal: repository 'https://huggingface.co/datasets/HuggingFaceH4/lmeh_evaluations/' not found Error(s) during clone: git clone failed: exit status 128
请问如何从外部访问该leaderboard DataFrame?
解决方案
方案1:直接抓取页面表格数据(无权限要求,最简单)
页面已渲染出完整的排行榜数据,可通过Pandas直接读取页面中的表格,无需访问私有仓库:
import pandas as pd # 读取页面表格 df = pd.read_html("https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard")[0] # 保存为CSV格式(可机器读取) df.to_csv("open_llm_leaderboard.csv", index=False)
此方法直接获取公开展示的数据,适合快速导出。
方案2:修复Docker命令(需私有仓库访问权限)
若拥有私有评估仓库的访问权限,需修正Docker命令中的仓库路径错误:原命令克隆的是datasets/HuggingFaceH4/lmeh_evaluations,实际目标应为spaces/HuggingFaceH4/lmeh_evaluations,同时确保H4_TOKEN是拥有该私有空间访问权限的有效令牌。
方案3:调用Space后端接口
该Leaderboard的Space后端会生成DataFrame用于页面渲染,可分析页面的网络请求,找到返回数据的API接口,直接请求获取JSON格式数据后转换为DataFrame。
内容的提问来源于stack exchange,提问作者miku
相关产品推荐
相关产品推荐

