You need to enable JavaScript to run this app. Python爬取动态表格:提取TradingView振荡器板块RSI至pandas
优惠活动
大模型
产品
解决方案
定价
更多

Python爬取动态表格:提取TradingView振荡器板块RSI至pandas

问题修复与优化实现方案

无限循环问题的根因与修复

代码死循环的核心原因是外层写了无终止条件的while True:结构,没有任何逻辑触发循环跳出,哪怕标签切换、数据提取全部完成后,程序也会反复执行点击按钮、等待加载的流程,完全停不下来。
修复方式非常直接:

  • 移除冗余的无限循环结构,把原来循环内部的逻辑改成单次顺序执行流程:页面加载 → 定位Oscillators按钮并点击 → 等待Oscillators标签对应的表格加载完成 → 提取数据 → 关闭浏览器
  • 靠WebDriverWait实现动态内容的等待逻辑,不需要靠死循环做重试,减少无效操作
  • 替换代码里已经被Selenium弃用的find_element_by_*系列旧接口,统一使用基于By类的标准定位写法,避免版本兼容报错
  • 把原来靠nth-child层级计算的脆弱按钮定位,换成基于按钮文本的定位逻辑,降低页面结构小幅调整导致的爬取失效概率

表格数据转Pandas DataFrame的实现思路

不需要硬套BeautifulSoup做额外解析——Selenium拿到的已经是动态渲染完成的DOM节点,直接定位表格元素提取文本更稳定:

  1. 等Oscillators标签激活后,先遍历表格表头的所有单元格,生成列名列表
  2. 遍历表格表体的每一行,逐行提取每个单元格的文本值,生成行数据列表
  3. 把行数据、列名传入pd.DataFrame()即可生成结构化数据表,表中会自动包含RSI(14)指标对应的列,不需要额外定位

你之前设想的「Selenium加载动态内容+BeautifulSoup解析」思路本身没有逻辑问题,但在这个场景下属于多余步骤:Selenium已经可以直接拿到元素的结构化文本,再转成BS对象做二次解析反而会增加代码冗余,只有当你需要对拿到的HTML做复杂正则匹配、跨节点重组内容时,引入BS才是有价值的。

优化后的完整可运行代码

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
import pandas as pd

chrome_options = Options()
base_url = 'https://in.tradingview.com/markets/stocks-india/market-movers-active/'

# 关闭自动化测试提示、屏蔽通知
chrome_options.add_argument("disable-infobars")
chrome_options.add_experimental_option("prefs", { 
    "profile.default_content_setting_values.notifications": 2
})

# 初始化驱动
browser = webdriver.Chrome(
    executable_path = r'/Users/judhjitganguli/Downloads/chromedriver',
    options = chrome_options
)
# 调整页面缩放适配小屏幕
browser.get('chrome://settings/')
browser.execute_script('chrome.settingsPrivate.setDefaultZoom(0.5);')
browser.get(base_url)

try:
    # 等待Oscillators按钮可点击(用文本定位替代脆弱的层级选择器)
    osiButton = WebDriverWait(browser, 10).until(
        EC.element_to_be_clickable((By.XPATH, "//div[contains(text(), 'Oscillators')]"))
    )
    osiButton.click()
    # 等待Oscillators标签对应的表格加载完成
    WebDriverWait(browser, 10).until(
        EC.text_to_be_present_in_element(
            (By.CSS_SELECTOR, 'th:nth-child(2) .js-head-title'), 
            "OSCILLATORS RATING"
        )
    )

    # 提取表头生成列名
    headers = []
    for th in browser.find_elements(By.CSS_SELECTOR, ".tv-data-table__thead th"):
        headers.append(th.text.strip())
    
    # 逐行提取表格数据
    rows_data = []
    for row in browser.find_elements(By.CSS_SELECTOR, ".tv-data-table__tbody tr"):
        cell_values = []
        for cell in row.find_elements(By.CSS_SELECTOR, "td"):
            cell_values.append(cell.text.strip())
        rows_data.append(cell_values)
    
    # 生成DataFrame
    rsi_df = pd.DataFrame(rows_data, columns=headers)
    # 输出提取结果,RSI(14)列会直接展示在表中
    print(rsi_df.head())

finally:
    # 不管流程是否报错,都确保关闭浏览器
    browser.quit()

补充说明

  • 优化后的代码没有任何循环跳出逻辑问题,整个流程是单次执行的,不会出现反复操作、停不下来的情况
  • 生成的DataFrame中包含Oscillators标签下的所有列,直接按列名筛选即可拿到需要的RSI(14)数值
  • 用try/finally包裹核心流程,哪怕中间出现元素定位报错,也会正常关闭浏览器进程,不会残留后台的Chrome进程

内容的提问来源于stack exchange,提问作者Judhjit Ganguli

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.01 22:45:07