Python3中使用fake_useragent遭遇“Maximum amount of retries reached”错误

问题背景 #

使用fake_useragent库生成随机User-Agent时，触发HTTP Error 403: Forbidden及Maximum amount of retries reached错误，核心原因是库默认请求的外部UA缓存服务器被限制访问。

解决方案 #

1. 禁用在线缓存服务器，使用内置UA数据 #

修改代码添加use_cache_server=False参数，让库调用内置的UA列表，不再请求外部服务器：

from fake_useragent import UserAgent
ua = UserAgent(use_cache_server=False)
headers = {
    "User-Agent": ua.random
}

2. 手动维护自定义UA列表 #

如果内置UA无法满足需求，可自行定义UA集合，通过random模块随机选取，彻底规避在线依赖：

import random

# 可根据目标网站需求补充更多UA
USER_AGENTS = [
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 14_0) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.0 Safari/605.1.15",
    "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/118.0"
]

headers = {
    "User-Agent": random.choice(USER_AGENTS)
}

3. 更新fake_useragent至最新版本 #

旧版本库可能依赖已失效的数据源，更新到最新版可修复访问限制问题：

pip install --upgrade fake_useragent

内容的提问来源于stack exchange，提问作者Zip