.Net爬取WordPress网站遇429请求过多错误，仅两次请求何解？

你的代码在多数网站正常运行，但针对WordPress站点仅两次请求就返回429，主要是以下几个核心原因：

• WordPress安全插件的限流检测：绝大多数WordPress站点会安装安全插件（比如Wordfence、iThemes Security），这类插件会监控请求频率与请求特征。你的两次请求（获取HTML+下载图片）是连续发起的，间隔极短，插件会直接判定为恶意爬虫行为，触发限流拦截。
• WebClient默认请求头不符合正常用户特征：WebClient默认的User-Agent是老旧的浏览器标识，甚至部分场景下会缺失该字段。WordPress站点或其配套的CDN服务会把这类请求标记为非人类访问，直接触发429限制。
• 无状态请求被判定为异常：正常用户访问时，浏览器会自动保存并携带会话Cookie，而你的WebClient默认不会维护会话状态，两次请求都是独立的无状态请求，部分防护系统会把这种行为归为爬虫范畴。
• CDN的反爬规则拦截：很多WordPress站点使用Cloudflare等CDN服务，CDN本身有严格的爬虫检测逻辑，哪怕仅两次请求，只要没有模拟正常浏览器的请求行为（比如缺少Referer、Accept等必要请求头），就会被判定为异常请求并限流。

你的代码示例：

var client = new WebClient(); 
var htmlContent = await client.DownloadStringTaskAsync(url);
 ...Html Parsing... 
var imgData = await client.DownloadDataTaskAsync(imageUrl);

这段代码未设置任何模拟浏览器的请求头，也没有添加请求间隔，属于纯程序式的机械请求，很容易被WordPress的防护机制识别拦截。

内容的提问来源于stack exchange，提问作者Guillaume D