网页爬取技术咨询：如何从HTTP Header获取产品ID及解决评论缺失问题

一、从HTTP响应头获取产品ID #

当你用requests.get()发起请求后，返回的Response对象包含所有响应头信息。根据你提供的截图，响应头中存在对应产品ID的字段（比如x-product-id），你可以通过以下代码提取：

import requests

url = 'https://www.pickaboo.com/product-detail/samsung-galaxy-a03-3gb-32gb/'
response = requests.get(url)

# 从响应头提取产品ID，若字段名不符可打印response.headers查看所有字段
product_id = response.headers.get('x-product-id')
print("产品ID:", product_id)

二、获取评论区域内容 #

评论内容一般是页面加载后通过AJAX异步请求动态加载的，直接请求产品页面无法获取，需按以下步骤处理：

• 打开浏览器开发者工具（F12），切换到「网络」标签
• 刷新产品页面，筛选「XHR/Fetch」类型请求，找到含评论数据的接口（URL通常带有review、comment等关键词）
• 查看该接口的请求参数，大概率需要用到前面获取的产品ID

示例代码（以假设的评论接口为例，实际以抓包结果为准）：

# 模拟请求评论接口，参数需匹配抓包结果
review_url = 'https://www.pickaboo.com/api/reviews'
params = {
    'product_id': product_id,
    'page': 1  # 分页参数，按需调整
}

# 若网站验证请求头，可添加模拟浏览器的Header
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
}

review_response = requests.get(review_url, params=params, headers=headers)
comments = review_response.json()  # 评论数据多为JSON格式
print(comments)

内容的提问来源于stack exchange，提问作者Md. Zahirul Islam