使用DVC get/ls-url获取GitHub文件时遇连接及路径错误求助

网络与代理排查 #

• 先验证基础网络连通性：执行curl https://github.com，确认能正常返回页面内容。如果失败，说明存在防火墙、网络限制或代理配置问题。
• 若使用代理，需同步配置Git和DVC：
  • Git代理配置：

    git config --global http.proxy http://你的代理地址:端口
    git config --global https.proxy https://你的代理地址:端口
    

  • DVC临时代理：在命令前添加环境变量：

    HTTP_PROXY=http://你的代理地址:端口 HTTPS_PROXY=https://你的代理地址:端口 dvc get https://github.com/tidyverse/ggplot2 data-raw/diamonds.csv -o data/dataset/diamonds.csv
    

  • DVC永久代理：编辑~/.dvc/config文件，添加：

    [core]
        proxy = http://你的代理地址:端口
    

Git与DVC版本兼容检查 #

• 确保Git为最新稳定版，DVC依赖Git进行仓库克隆，旧版本可能存在HTTPS连接缺陷：

  git --version
  # Ubuntu升级命令
  sudo apt update && sudo apt install git
  # macOS升级命令（需安装Homebrew）
  brew upgrade git
  

• 若在本地项目中使用DVC，可尝试重新初始化：

  dvc init --no-scm
  

临时SSL证书绕过（仅测试场景） #

• 若因SSL证书验证失败导致连接问题，可临时关闭Git的SSL检查：

  git config --global http.sslVerify false
  

• 同时为DVC设置环境变量跳过SSL检查：

  SSL_CERT_FILE="" dvc get https://github.com/tidyverse/ggplot2 data-raw/diamonds.csv -o data/dataset/diamonds.csv
  

替代方案：Git稀疏检出 #

• 若DVC命令始终无法正常工作，可直接用Git稀疏检出目标文件：

  # 创建临时目录并初始化Git
  mkdir temp-ggplot2 && cd temp-ggplot2
  git init
  git remote add origin https://github.com/tidyverse/ggplot2
  # 启用稀疏检出
  git config core.sparseCheckout true
  echo "data-raw/diamonds.csv" >> .git/info/sparse-checkout
  # 拉取文件
  git pull origin main
  # 复制到目标路径
  cp data-raw/diamonds.csv ../data/dataset/
  # 清理临时文件
  cd .. && rm -rf temp-ggplot2
  

内容的提问来源于stack exchange，提问作者paolopazzo