使用urllib和BS4访问网站时出现HTTP Error 503的原因是什么

用于抓取globalspec站点内容的代码如下：

from urllib.request import urlopen
from bs4 import BeautifulSoup
url = "https://standards.globalspec.com/"
q1 = urlopen(url)
soup = BeautifulSoup(q1, 'lxml')
print(soup) 

运行时抛出异常：urllib.error.HTTPError: HTTP Error 503: Service Temporarily Unavailable

核心触发原因 #

• 反爬机制拦截：urllib发起的请求默认携带的User-Agent头会明确标识自身为Python爬虫程序，该站点配置了反爬规则，识别到非真实浏览器的爬虫请求后，不会返回正常页面内容，而是返回503状态码伪装成服务临时故障，本质是针对性的访问拦截，并非站点服务真的不可用。
• 额外适配提示：即使通过修改请求头伪装成真实浏览器绕过第一层UA校验，站点内「按技术浏览标准」板块的内容是通过JavaScript动态渲染生成的，直接请求返回的初始静态HTML中不包含该板块的完整数据，仅靠BS4无法解析到目标内容，需要先获取JS执行完成后的完整页面源码再做提取。

内容的提问来源于stack exchange，提问作者Yuliia