如何通过Selenium（Python）利用data-hook定位网页元素？

这个方案完全可行，而且是推荐方案。data-hook这类自定义属性是开发者专门为脚本、爬虫等定位元素设计的，相比易复用变化的类名、动态生成的href或文本内容，它的稳定性更高，非常适合批量抓取目标元素。

Python + BeautifulSoup #

from bs4 import BeautifulSoup

# 假设html_content是你获取到的页面HTML内容
soup = BeautifulSoup(html_content, 'html.parser')
# 定位所有data-hook属性为review-title的a元素
review_titles = soup.find_all('a', attrs={'data-hook': 'review-title'})

# 遍历提取标题文本和链接
for title in review_titles:
    title_text = title.get_text(strip=True)
    title_link = title['href']
    print(f"评论标题：{title_text}，链接：{title_link}")

Python + Scrapy #

在Scrapy框架中，可通过CSS属性选择器直接定位：

# 假设response是Scrapy的响应对象
review_titles = response.css('a[data-hook="review-title"]')

for title in review_titles:
    title_text = title.css('::text').get(strip=True)
    title_link = title.attrib['href']
    print(f"评论标题：{title_text}，链接：{title_link}")

JavaScript（浏览器控制台/Puppeteer） #

如果是在浏览器环境或使用Puppeteer等工具，可通过以下方式定位：

// 获取所有匹配的a元素
const reviewTitles = document.querySelectorAll('a[data-hook="review-title"]');

// 遍历处理每个元素
reviewTitles.forEach(item => {
    const text = item.textContent.trim();
    const link = item.href;
    console.log(`评论标题：${text}，链接：${link}`);
});

Python + PyQuery #

from pyquery import PyQuery as pq

# 解析HTML内容
doc = pq(html_content)
# 定位目标元素
review_titles = doc('a[data-hook="review-title"]')

# 遍历提取数据
for title in review_titles.items():
    title_text = title.text().strip()
    title_link = title.attr('href')
    print(f"评论标题：{title_text}，链接：{title_link}")

内容的提问来源于stack exchange，提问作者ifcheprogrammer