使用Python获取公开网站内容时200响应无页面源码的问题求解

已配置的请求代码片段 #

• VBA 请求发送代码：

.send "land_abk=sh&ger_name=Norderstedt&order_by=2&ger_id=X1526"

• Python 请求头配置代码：

headers = {
    'User-Agent': 'python-requests/2.24.0',
    'Accept-Encoding': 'gzip, deflate',
    'Accept': '*/*',
    'Connection': 'keep-alive',
    'Referer': 'https://url'
}

实际场景与异常表现 #

• 正常的页面跳转逻辑：点击页面上的对应链接，就会跳转至最后一级子URL并展示对应的详情内容
• 已完成的尝试覆盖范围：包括POST请求、GET请求、VBA发送请求、Python设置自定义Referer头在内的所有可想到的方案，均没能成功从第三级页面获取数据
• 具体异常表现：请求只能拿到状态码200的响应头内容，完全无法获取页面源码中的有效文本，响应仅返回没有任何具体描述的错误信息
• 唯一可正常获取页面内容的路径：从第二级页面点击对应链接跳转过去，即可无报错正常打开第三级页面、获取完整内容

核心待解决问题 #

该网站是完全公开的公共站点，按理说不存在Referer校验或者加密拦截的逻辑，需要定位问题的根本原因，以及对应的解决方法。

内容的提问来源于stack exchange，提问作者Jasco