求助：Python无法提取application/octet-stream格式表格及iframe内容

你遇到的核心问题是：目标Iframe页面的内容是JavaScript动态渲染的，直接用requests+BeautifulSoup请求只能拿到空的HTML骨架，无法获取加载后的表格和下载链接。下面提供两种可行的解决方案：

方案一：用Selenium模拟浏览器加载 #

Selenium会启动真实浏览器，等待页面完全渲染后再抓取内容，适合不擅长分析接口的场景。

步骤与代码 #

1. 先安装依赖：

pip install selenium webdriver-manager

2. 爬虫代码：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup
from webdriver_manager.chrome import ChromeDriverManager

# 目标Iframe链接
iframe_url = "https://chartviewer-europublic.bigapis.net/nzgaV/index.html"

# 初始化Chrome浏览器（自动管理驱动）
driver = webdriver.Chrome(ChromeDriverManager().install())

try:
    driver.get(iframe_url)
    # 等待表格元素加载完成（超时时间10秒）
    WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.TAG_NAME, "table"))
    )
    
    # 获取渲染后的完整页面源码
    page_source = driver.page_source
    soup = BeautifulSoup(page_source, "lxml")
    
    # 提取表格内容
    table = soup.find("table")
    if table:
        print("表格内容：")
        for row in table.find_all("tr"):
            # 提取每行的单元格文本
            cells = [cell.get_text(strip=True) for cell in row.find_all(["td", "th"])]
            print(cells)
    
    # 提取下载按钮链接（匹配包含"download"字样的a标签）
    download_btn = soup.find("a", string=lambda t: t and "download" in t.lower())
    if download_btn:
        print("\n下载链接：", download_btn["href"])
        
finally:
    # 关闭浏览器
    driver.quit()

方案二：直接抓取数据接口（更高效） #

通过浏览器开发者工具找到页面加载数据的API接口，直接请求接口获取结构化数据，避免模拟浏览器的开销。

操作步骤 #

1. 打开目标Iframe页面，按F12打开开发者工具，切换到Network面板；
2. 刷新页面，在XHR/Fetch分类下，寻找返回表格数据的请求（通常URL包含data、api等关键词）；
3. 复制该请求的URL、请求头（如User-Agent、Referer），用requests直接请求；
4. 解析返回的JSON/XML数据，即可得到表格内容，下载链接也可能在接口返回结果中。

示例代码 #

import requests

# 替换为你找到的实际API接口URL
api_url = "https://chartviewer-europublic.bigapis.net/nzgaV/api/data"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36",
    "Referer": "https://chartviewer-europublic.bigapis.net/nzgaV/index.html"
}

response = requests.get(api_url, headers=headers)
# 假设返回JSON格式数据
data = response.json()

# 解析数据（根据实际结构调整）
print("接口返回数据：", data)

方案对比 #

• Selenium：上手简单，无需分析接口，兼容性强；缺点是速度慢，占用资源多。
• 接口抓取：速度快，资源占用少；缺点需要分析网络请求，部分接口可能有反爬验证。

内容的提问来源于stack exchange，提问作者user47341