You need to enable JavaScript to run this app. Python爬取aastocks滚动加载财经新闻时pd.read_json失效排查
优惠活动
大模型
产品
解决方案
定价
更多

Python爬取aastocks滚动加载财经新闻时pd.read_json失效排查

代码无法运行的核心遗漏点与修复方案
  • 缺失接口校验要求的请求上下文
    直接将数据接口URL传入pd.read_json的调用方式,是依靠pandas内置的简易HTTP能力发起请求,不会自动携带真实浏览器滚动加载时自动附带的同源Referer、AJAX请求标识、会话Cookie等校验字段。这类数据接口通常只接受同源页面发起的滚动请求,一旦检测到请求来源不符合要求,服务端会直接返回403状态码、错误提示HTML,而非开发者工具中捕获到的JSON结构。
  • 未完成会话初始化流程
    开发者工具中能看到正常JSON响应,是因为浏览器已经预先加载过主新闻页面,存储了服务端下发的会话Cookie。绕过主页面直接调用数据接口时,没有先完成主页面的访问流程,服务端的会话校验逻辑会直接拦截请求。
  • pandas内置JSON读取功能的局限性
    pd.read_json(url)支持的HTTP能力非常有限,不支持自定义请求头、Cookie自动管理、重定向跟随等基础网页交互逻辑,面对有简单反爬校验的站点时无法正常工作,不能直接替代专业HTTP请求库使用。

可正常运行的代码示例
import requests
import pandas as pd

# 初始化可自动管理Cookie的会话对象
news_session = requests.Session()
# 模拟真实浏览器的核心请求头
request_headers = {
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36",
    "Referer": "http://www.aastocks.com/tc/stocks/news/aafn-company-news",
    "X-Requested-With": "XMLHttpRequest"
}
news_session.headers.update(request_headers)

# 先访问主新闻页,完成服务端Cookie初始化
news_session.get("http://www.aastocks.com/tc/stocks/news/aafn-company-news")

# 再请求数据接口获取JSON内容
api_url = "http://www.aastocks.com/tc/resources/datafeed/getmorenews.ashx?cat=company-news&newstime=975758615&newsid=NOW.1060527&period=0&key=&symbol="
api_response = news_session.get(api_url)

# 将获取到的JSON文本传入pandas生成DataFrame
df = pd.read_json(api_response.text)

额外避坑提示
  • 接口地址里的newstime、newsid是动态生成的翻页游标,固定写死测试值的话,超过接口时效后会返回空数据,实际使用时需要从当前页面最后一条新闻的DOM节点中动态提取这两个参数,不能一直复用之前在开发者工具里抓到的固定值。
  • 拿到接口返回内容后先打印api_response.text确认返回结构,如果存在JSON转义、嵌套结构不匹配的情况,需要调整pd.read_json的orient参数适配对应的数据结构。
  • 如果请求后返回403状态码,需要补充请求头中的Accept、Accept-Language字段,进一步模拟真实浏览器的请求特征。

内容的提问来源于stack exchange,提问作者Arthur Law

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.15 01:06:03