使用Selenium爬取含可见、隐藏行的表格时无法提取隐藏行数据

问题根因 #

Selenium 中WebElement.text属性默认仅返回用户可见的文本内容，设置了display: none样式的隐藏元素文本会被自动过滤，这就是你拿到的隐藏行全是空逗号占位的核心原因。

可行解决方案 #

方案1：直接获取元素文本内容（无需修改页面样式，推荐） #

直接使用get_attribute('textContent')替代.text即可，该属性可以拿到DOM中存在的所有文本，不受元素可见性影响，同时可以加.strip()清除文本前后多余的空白字符。
修改后的代码片段如下：

with open('tableOut.csv', 'w', newline='') as csvfile:
    wr = csv.writer(csvfile)
    for row in table.find_elements_by_css_selector('tr'):
        # 替换.text为get_attribute('textContent')
        wr.writerow([d.get_attribute('textContent').strip() for d in row.find_elements_by_css_selector('td')])

方案2：先修改页面样式显示所有隐藏行再提取 #

如果你需要沿用原有的.text提取逻辑，可以先执行JavaScript脚本把所有隐藏的表格行设置为可见状态：

# 执行JS修改隐藏行样式，放在提取表格数据之前
driver.execute_script("""
const hiddenRows = document.querySelectorAll('#vehicletable1 tbody tr[style*="display: none"]');
hiddenRows.forEach(row => row.style.display = 'table-row');
""")

# 之后执行你原来的提取逻辑即可正常拿到.text内容
with open('tableOut.csv', 'w', newline='') as csvfile:
    wr = csv.writer(csvfile)
    for row in table.find_elements_by_css_selector('tr'):
        wr.writerow([d.text for d in row.find_elements_by_css_selector('td')])

额外优化建议 #

• implicitly_wait全局只需要设置一次即可，不需要每次操作前重复设置，也可以换成显式等待（WebDriverWait）匹配页面加载状态，爬取稳定性更高。
• 如果该表格使用Footable插件做了分页，确认所有数据都已经加载到当前DOM中再执行提取，避免漏爬其他页的数据。

内容的提问来源于stack exchange，提问作者Blake P