如何抓取不可见HTML？该操作是否可行？附示例页面链接

当然可行！很多网站里所谓的「不可见内容」，其实只是通过CSS样式（比如display: none、visibility: hidden）或者前端逻辑控制不显示在页面上，但原始数据依然完整保存在HTML源码中——你提到的那个能源期货页面就是典型案例，表格数据已经嵌入在HTML里，只是被样式隐藏而已，完全可以抓取。

下面是具体的实现思路和方法：

第一步：确认内容是否在静态源码中 #

先判断目标数据是否真的存在于页面静态源码里：

• 打开目标页面，右键选择「查看页面源代码」（或按Ctrl+U），用Ctrl+F搜索你要找的关键词（比如某个合约的价格数值）。如果能搜到，说明数据是静态嵌入的，直接用普通爬虫就能搞定。
• 以你说的页面为例，数据表格的内容会包含在<table>标签内，哪怕被hidden类隐藏，源码里的文本值依然存在。

第二步：用静态爬虫抓取（以Python为例） #

如果数据在静态源码里，用requests获取页面内容，再用BeautifulSoup解析提取即可，示例代码如下：

import requests
from bs4 import BeautifulSoup

# 目标页面URL
url = "http://www.cmegroup.com/trading/energy/crude-oil/european-dated-brent-swap-futures_quotes_settlements_futures.html"
# 模拟浏览器请求头，避免被反爬拦截
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36"
}

# 获取页面源码
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, "html.parser")

# 定位目标表格（根据实际页面的class/id调整）
target_table = soup.find("table", class_="quotes-table")
if target_table:
    # 遍历表格行提取数据
    for row in target_table.find_all("tr"):
        columns = row.find_all("td")
        # 过滤空行
        if columns:
            row_data = [col.get_text(strip=True) for col in columns]
            print(row_data)

特殊情况：动态加载的隐藏内容 #

如果数据是页面加载后通过AJAX动态获取的（虽然你这个案例是静态的，但可以作为扩展参考）：

• 打开浏览器开发者工具（F12），切换到「Network」标签，刷新页面后筛选「XHR/Fetch」类型的请求，找到返回目标数据的接口。
• 直接请求这个接口，就能拿到结构化的JSON/XML数据，比解析HTML更高效。

注意事项 #

• 务必遵守目标网站的robots.txt协议和使用条款，不要进行大规模、高频次的抓取，避免触发反爬机制或违反法律。
• 如果遇到反爬（比如验证码、IP封锁），可以考虑使用代理池，或者用Selenium、Playwright这类工具模拟真实浏览器行为，但这类方案资源消耗更高，优先用静态抓取。

内容的提问来源于stack exchange，提问作者stakowerflol