使用BeautifulSoup爬取网页表格数据失败问题咨询

看起来你遇到的是动态网页爬取的典型问题——目标表格数据是通过JavaScript动态渲染生成的，而requests库只能获取服务器返回的初始静态HTML，不会执行页面中的JS代码，所以你找不到id="data"的div元素，自然拿不到想要的表格内容。

下面给你两种可行的解决方案：

方案一：用Selenium模拟浏览器加载页面 #

Selenium可以模拟真实浏览器的行为，等待页面JS执行完成后再获取完整的页面源码，这样就能拿到动态生成的内容了。

步骤和代码示例： #

1. 先安装Selenium和对应浏览器的驱动（比如ChromeDriver，要和你的Chrome版本匹配）
2. 替换原有代码为以下逻辑：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup
import time

# 配置Chrome选项，可选无头模式（不显示浏览器窗口）
chrome_options = Options()
chrome_options.add_argument('--headless=new')
chrome_options.add_argument('--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36')

# 初始化浏览器驱动
driver = webdriver.Chrome(options=chrome_options)
url = 'https://iprice.hk/insights/mapofecommerce/iframe/?lang=en&loc=th'
driver.get(url)

# 等待页面加载完成（根据实际情况调整等待时间，比如复杂页面可以设5秒）
time.sleep(3)

# 获取完整的页面源码
page_source = driver.page_source
driver.quit()

# 用BeautifulSoup解析
soup = BeautifulSoup(page_source, 'html5lib')
table = soup.find('div', attrs={'id':'data'})

if table:
    print(table.prettify())
else:
    print("还是没找到目标元素，可能需要调整等待时间或者检查元素定位方式")

方案二：抓取AJAX接口直接获取数据 #

很多动态网站会通过AJAX请求从后端接口拉取数据，你可以直接请求这些接口，通常返回的是JSON格式的数据，比模拟浏览器更高效。

操作步骤： #

1. 打开目标网页，按下F12打开开发者工具
2. 切换到Network标签，刷新页面，筛选XHR类型的请求
3. 逐一查看这些请求的响应内容，找到返回表格数据的接口
4. 用requests直接请求这个接口，解析返回的JSON数据

举个示例（假设找到的接口是https://xxx.xxx/api/get-table）：

import requests

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36',
    # 可能需要添加其他请求头，比如Referer、Cookie等，根据实际接口要求
}

api_url = '这里替换成你找到的实际数据接口URL'
response = requests.get(api_url, headers=headers)
data = response.json()

# 处理返回的JSON数据，提取表格内容
print(data)

额外提示： #

你可以先把r.content.decode()的内容保存到本地文件，搜索id="data"确认初始HTML里确实没有这个元素，这样就能100%确定是动态加载的问题。如果网站有反爬机制，可能需要添加更多请求头或者调整请求频率。

内容的提问来源于stack exchange，提问作者Rawisara luangaksorn