Python调用wget下载API返回403 命令行wget正常的问题排查

• 你在命令行可正常执行的wget是系统预装的原生程序，发送HTTP请求时会自动携带固定的身份标识（即User-Agent请求头），格式一般为Wget/对应安装版本号，这类标识默认不会被目标站点的反爬规则拦截。
• 脚本中使用的Python第三方wget库，本身没有独立实现网络请求逻辑，底层完全依赖Python内置的urllib.request模块发请求，默认携带的身份标识为Python-urllib/对应Python版本号。你访问的api.bitladon.com站点部署了Cloudflare类防护规则，会直接识别并拦截携带Python-urllib标识的请求，返回403 Forbidden。
• 报错和你执行命令时加的sudo权限没有关联：如果是本地写入/home/dirk路径的权限不足，Python会直接抛出操作系统层的权限错误，根本走不到发HTTP请求的环节。当前的403是服务器主动返回的应用层拦截响应，和本地权限配置无任何关系。

可行的解决方法 #

• 方法1：为Python wget请求手动配置和系统wget一致的User-Agent头，绕过UA拦截。示例代码：

  import wget
  import urllib.request
  
  # 替换默认的Python-urllib请求头为系统wget的标识
  opener = urllib.request.build_opener()
  # 版本号可通过命令行执行wget --version查询获取
  opener.addheaders = [('User-agent', 'Wget/1.21.2')]
  urllib.request.install_opener(opener)
  
  url = 'https://api.bitladon.com/markets/'
  wget.download(url, '/home/dirk/values.json')
  

• 方法2：绕过第三方wget库，直接通过Python调用系统原生wget命令执行下载，行为和命令行完全一致，不存在UA不匹配的问题。示例代码：

  import subprocess
  
  url = 'https://api.bitladon.com/markets/'
  save_path = '/home/dirk/values.json'
  # 等价于你在命令行执行的wget -O /home/dirk/values.json https://api.bitladon.com/markets/
  subprocess.run(['wget', '-O', save_path, url], check=True)
  

• 避坑提醒：不要为了解决这个问题给Python脚本加sudo提权，提权不仅不会解决服务器层的403拦截问题，反而会大幅增加脚本运行的安全风险。

内容的提问来源于stack exchange，提问作者dirk verbeek