Databricks笔记本登录Hugging Face Hub上传微调模型问题求助
Databricks 环境登录 Hugging Face Hub 解决方案
Databricks 笔记本的交互渲染逻辑和原生Jupyter环境存在差异,notebook_login() 依赖的ipywidgets控件、内嵌HTML登录表单无法正常渲染,强行套displayHTML()触发空指针是预期内的兼容问题,不需要在交互式登录方案上继续调试,直接用无交互认证方式即可:
方案1:显式调用login函数传入Token(最推荐,适配所有场景)
- 先在Hugging Face账号后台生成具备Write权限的Access Token
- 跳过交互式登录组件,直接传入Token完成认证,代码如下:
from huggingface_hub import login # 优先从Databricks Secrets读取Token,避免明文硬编码泄露 hf_token = dbutils.secrets.get(scope="你的secrets作用域名", key="存储hf token的key名") login(token=hf_token)认证完成后直接调用模型、Tokenizer的
push_to_hub()方法即可正常上传微调后的权重,和本地环境操作逻辑完全一致。方案2:配置全局环境变量自动认证(适合批量流水线任务)
在笔记本初始化阶段配置HF_TOKEN环境变量,huggingface_hub库会自动读取该变量完成认证,不需要显式调用登录函数:import os hf_token = dbutils.secrets.get(scope="你的secrets作用域名", key="存储hf token的key名") os.environ["HF_TOKEN"] = hf_token后续所有涉及Hub权限校验的操作(上传模型、下载私有仓库资源等)都会自动完成认证,不需要额外处理。
注意:不要尝试在Databricks笔记本里运行
huggingface-cli login命令行交互流程,Databricks笔记本的命令行单元格不支持隐式交互输入,会直接卡住无法继续。上述两种无交互方案在Databricks 13.x/14.x/15.x LTS版本的单节点、标准集群上均验证可用。
内容的提问来源于stack exchange,提问作者Alun ap Rhisiart
相关产品推荐
相关产品推荐

