使用Selenium滚动抓取gate.io表格数据 提取币种列表获取多空比

你代码无法提取币种列表主要有3个核心问题：

• 页面元素动态加载未等待：代码调用get后直接查找元素，此时左侧交易对表格还没渲染完成，自然获取不到对应节点
• class属性匹配不严谨：你用的[@class=' border-box']是完全匹配规则，实际页面中tr的class属性可能存在多个值、空格差异，用contains模糊匹配更稳妥
• 旧版Selenium方法兼容性问题：find_element_by_xpath这类写法在Selenium 4.x版本中已被废弃，用新标准写法可避免版本适配报错

修正后可运行代码 #

!pip install selenium
!apt-get update
!apt install chromium-chromedriver
!cp /usr/lib/chromium-browser/chromedriver /usr/bin
import sys
import logging
from selenium.webdriver.remote.remote_connection import LOGGER
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
LOGGER.setLevel(logging.WARNING)
sys.path.insert(0,'/usr/lib/chromium-browser/chromedriver')
from selenium import webdriver
import pandas
import json
import pprint

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')
chrome_options.add_argument("user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36")

wd = webdriver.Chrome('chromedriver',chrome_options=chrome_options)
wd.get("https://www.gate.io/en/trade/BTC_USDT")

# 新增显式等待，最多等10秒直到交易对表格加载完成
wait = WebDriverWait(wd, 10)
table = wait.until(EC.presence_of_element_located((By.XPATH, "//*[@id='marketlist_usdt']")))
# 修正xpath匹配逻辑，模糊匹配包含border-box属性的tr节点
rows = table.find_elements(By.XPATH, "tbody/tr[contains(@class, 'border-box')]")
# 打印币种ID和币种名称
for row in rows: 
    coin_id = row.get_attribute("id")
    coin_name = row.find_element(By.XPATH, "td[2]/a").text.strip()
    print(f"币种ID：{coin_id}，币种名称：{coin_name}")

后续抓取多空比值注意事项 #

• 每次点击币种后同样要加显式等待，等右侧多空数据模块加载完成再提取，避免拿到空值
• 可以用execute_script方法执行点击操作，避免元素被遮挡导致的点击失败
• 注意控制点击间隔，避免请求频率过高触发网站反爬限制

内容的提问来源于stack exchange，提问作者Gloria Dalla Costa