Python3使用requests请求JSON报JSONDecodeError但JSON校验合法的解决
报错核心原因
这个JSONDecodeError: Expecting value: line 1 column 1 (char 0)根本不是JSON本身的问题——你校验过JSON内容合法,说明站点上的正式数据完全没问题。报错的本质是你发的请求被BOM服务器的反爬机制拦了,实际拿到的响应要么是空的,要么是拦截用的HTML页面,根本不是目标JSON,所以解析时从第一个字符就找不到JSON结构,直接崩了。
两周前还能跑,现在不行,就是因为BOM最近刚更新了访问校验规则:不带合法请求头的Python默认requests请求(默认会把自己标识成python-requests/对应版本号),会被服务器直接返回403拒绝。
具体修复步骤
- 先做排查确认问题:
在原有response = requests.get(url)代码后面加两行调试输出,看真实收到的响应是什么:
跑一遍基本就能看到,状态码是403,打印的前200字符都是反爬拦截的HTML内容,压根不是你要的JSON数据。print(response.status_code) print(response.text[:200]) - 加合法请求头绕过校验:
给请求补上和普通浏览器一致的User-Agent标识,让服务器把请求识别成正常浏览器访问,改完的可运行代码如下:import requests url = "http://www.bom.gov.au/fwo/IDV60701/IDV60701.94857.json" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36" } response = requests.get(url, headers=headers, timeout=10) # 加状态校验,非200响应直接抛出错误,不用白折腾解析JSON response.raise_for_status() data1 = response.json() - 实用注意事项:
- 别用太高频率请求这个接口,BOM对短时间内刷接口的IP会做临时封禁,建议两次请求间隔至少留5秒
- 要是加了User-Agent还是被拦,可以在请求头里补一个
Referer: https://www.bom.gov.au/,模拟从站点正常页面跳过来的访问逻辑,进一步降低触发风控的概率
内容的提问来源于stack exchange,提问作者Marcus Scipio
相关产品推荐
相关产品推荐

