如何使用Python爬取chartink.com筛选器页面的目标表格数据
无法获取目标表格的原因
- 目标站点的表格数据为JavaScript动态渲染生成,直接通过requests请求返回的仅为未渲染的初始HTML模板,不存在你需要的表格数据
- 站点配置了基础反爬校验,缺少合法请求头、CSRF令牌的请求会被拦截,无法正常拿到数据
代码调整方案
方案1:直接请求数据接口(推荐,性能更高)
站点的表格数据会通过单独的接口返回,我们只需模拟合法的接口请求即可直接拿到JSON格式的表格数据,无需解析HTML:
import requests from bs4 import BeautifulSoup # 初始化会话自动维护cookie session = requests.Session() TARGET_URL = "https://chartink.com/screener/time-pass-48" # 请求头模拟浏览器 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36", "Referer": "https://chartink.com" } # 第一步:请求初始页面提取CSRF令牌 resp = session.get(TARGET_URL, headers=headers) soup = BeautifulSoup(resp.text, "html.parser") csrf_token = soup.find("meta", {"name": "csrf-token"})["content"] # 第二步:请求数据接口获取表格内容 api_url = "https://chartink.com/screener/process" # 筛选器参数可从浏览器控制台抓包获取 payload = { "scan_clause": "( {cash} ( latest close > latest sma( close, 200 ) and latest close > 1 day ago close and latest rsi( 14 ) > 60 ) )" } headers["X-CSRF-TOKEN"] = csrf_token data_resp = session.post(api_url, headers=headers, data=payload) table_result = data_resp.json() # 输出表格数据 print(table_result["data"])
注:如果筛选器条件有修改,可打开浏览器控制台「网络」标签筛选XHR请求,找到
/screener/process对应的POST请求,复制请求体里的scan_clause参数替换即可。
方案2:模拟浏览器渲染(逻辑更简单)
如果不想抓接口参数,可以使用Selenium、Playwright这类工具模拟浏览器运行,等页面JS渲染完成后直接提取表格内容,无需处理接口参数,仅性能略低于接口方案。
内容的提问来源于stack exchange,提问作者ayush5624
相关产品推荐
相关产品推荐

