Python爬取动态表格:提取TradingView振荡器板块RSI至pandas
问题修复与优化实现方案
无限循环问题的根因与修复
代码死循环的核心原因是外层写了无终止条件的while True:结构,没有任何逻辑触发循环跳出,哪怕标签切换、数据提取全部完成后,程序也会反复执行点击按钮、等待加载的流程,完全停不下来。
修复方式非常直接:
- 移除冗余的无限循环结构,把原来循环内部的逻辑改成单次顺序执行流程:页面加载 → 定位Oscillators按钮并点击 → 等待Oscillators标签对应的表格加载完成 → 提取数据 → 关闭浏览器
- 靠
WebDriverWait实现动态内容的等待逻辑,不需要靠死循环做重试,减少无效操作 - 替换代码里已经被Selenium弃用的
find_element_by_*系列旧接口,统一使用基于By类的标准定位写法,避免版本兼容报错 - 把原来靠
nth-child层级计算的脆弱按钮定位,换成基于按钮文本的定位逻辑,降低页面结构小幅调整导致的爬取失效概率
表格数据转Pandas DataFrame的实现思路
不需要硬套BeautifulSoup做额外解析——Selenium拿到的已经是动态渲染完成的DOM节点,直接定位表格元素提取文本更稳定:
- 等Oscillators标签激活后,先遍历表格表头的所有单元格,生成列名列表
- 遍历表格表体的每一行,逐行提取每个单元格的文本值,生成行数据列表
- 把行数据、列名传入
pd.DataFrame()即可生成结构化数据表,表中会自动包含RSI(14)指标对应的列,不需要额外定位
你之前设想的「Selenium加载动态内容+BeautifulSoup解析」思路本身没有逻辑问题,但在这个场景下属于多余步骤:Selenium已经可以直接拿到元素的结构化文本,再转成BS对象做二次解析反而会增加代码冗余,只有当你需要对拿到的HTML做复杂正则匹配、跨节点重组内容时,引入BS才是有价值的。
优化后的完整可运行代码
from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By import pandas as pd chrome_options = Options() base_url = 'https://in.tradingview.com/markets/stocks-india/market-movers-active/' # 关闭自动化测试提示、屏蔽通知 chrome_options.add_argument("disable-infobars") chrome_options.add_experimental_option("prefs", { "profile.default_content_setting_values.notifications": 2 }) # 初始化驱动 browser = webdriver.Chrome( executable_path = r'/Users/judhjitganguli/Downloads/chromedriver', options = chrome_options ) # 调整页面缩放适配小屏幕 browser.get('chrome://settings/') browser.execute_script('chrome.settingsPrivate.setDefaultZoom(0.5);') browser.get(base_url) try: # 等待Oscillators按钮可点击(用文本定位替代脆弱的层级选择器) osiButton = WebDriverWait(browser, 10).until( EC.element_to_be_clickable((By.XPATH, "//div[contains(text(), 'Oscillators')]")) ) osiButton.click() # 等待Oscillators标签对应的表格加载完成 WebDriverWait(browser, 10).until( EC.text_to_be_present_in_element( (By.CSS_SELECTOR, 'th:nth-child(2) .js-head-title'), "OSCILLATORS RATING" ) ) # 提取表头生成列名 headers = [] for th in browser.find_elements(By.CSS_SELECTOR, ".tv-data-table__thead th"): headers.append(th.text.strip()) # 逐行提取表格数据 rows_data = [] for row in browser.find_elements(By.CSS_SELECTOR, ".tv-data-table__tbody tr"): cell_values = [] for cell in row.find_elements(By.CSS_SELECTOR, "td"): cell_values.append(cell.text.strip()) rows_data.append(cell_values) # 生成DataFrame rsi_df = pd.DataFrame(rows_data, columns=headers) # 输出提取结果,RSI(14)列会直接展示在表中 print(rsi_df.head()) finally: # 不管流程是否报错,都确保关闭浏览器 browser.quit()
补充说明
- 优化后的代码没有任何循环跳出逻辑问题,整个流程是单次执行的,不会出现反复操作、停不下来的情况
- 生成的DataFrame中包含Oscillators标签下的所有列,直接按列名筛选即可拿到需要的RSI(14)数值
- 用
try/finally包裹核心流程,哪怕中间出现元素定位报错,也会正常关闭浏览器进程,不会残留后台的Chrome进程
内容的提问来源于stack exchange,提问作者Judhjit Ganguli
相关产品推荐
相关产品推荐

