VBA网页价格爬取宏失效求助：特定电商页面无法提取价格

问题排查与解决方案 #

1. 核心问题分析

你的宏报错的主要原因集中在两点：

• 请求头缺失导致返回HTML异常：目标网站识别到你的VBA请求为非浏览器爬虫（默认XMLHTTP请求无标识头），返回的HTML内容与浏览器实际加载的不一致，直接导致正则匹配失败。
• 正则表达式不匹配当前页面结构：你使用的正则针对<dd class="even pv-text promokod">标签，但目标页面的价格元素结构可能已变更；另外价格可能包含千分位空格（如1 999 Kč），你的\d+规则无法匹配带空格的数字格式。

2. 具体修复步骤

步骤1：修复DownloadHTML函数，添加请求头

如果你的DownloadHTML基于MSXML2.XMLHTTP实现，需添加模拟浏览器的请求头，避免被反爬拦截：

Function DownloadHTML(url As String) As String
    Dim xhr As Object
    Set xhr = CreateObject("MSXML2.XMLHTTP.6.0")
    
    xhr.Open "GET", url, False
    ' 添加浏览器标识头，模拟正常访问
    xhr.setRequestHeader "User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36"
    xhr.setRequestHeader "Accept-Language", "cs-CZ,cs;q=0.9"
    xhr.send
    
    If xhr.Status = 200 Then
        DownloadHTML = xhr.responseText
    Else
        DownloadHTML = ""
        Debug.Print "HTTP请求失败，状态码：" & xhr.Status
    End If
    Set xhr = Nothing
End Function

步骤2：替换正则为DOM解析（更可靠）

正则处理HTML易受页面结构变更影响，改用MSHTML的DOM解析更稳定。修改原ProcessRangeCaseland函数：

Sub ProcessRangeCaseland(cell As Range)
    Dim url As String
    Dim html As Object
    Dim priceElement As Object
    Dim extractedPrice As String
    
    url = cell.Offset(0, 1).Value
    
    If IsValidURL(url) Then
        Set html = CreateObject("HTMLFile")
        html.body.innerHTML = DownloadHTML(url)
        
        ' 替换为目标页面实际的价格元素CSS选择器（需用浏览器开发者工具查看）
        Set priceElement = html.querySelector(".product-price")
        
        If Not priceElement Is Nothing Then
            extractedPrice = priceElement.innerText
            ' 清理价格内容，提取纯数字
            extractedPrice = Replace(extractedPrice, " ", "")
            extractedPrice = Replace(extractedPrice, "Kč", "")
            cell.Offset(0, 2).Value = CDbl(extractedPrice)
        Else
            cell.Offset(0, 2).Value = "未找到价格"
        End If
        
        Set html = Nothing
        Set priceElement = Nothing
    Else
        cell.Offset(0, 2).Value = "无效URL"
    End If
End Sub

注意：需用浏览器开发者工具查看目标页面价格元素的CSS选择器，替换代码中的.product-price。

步骤3：验证下载的HTML内容

在DownloadHTML函数中添加代码，将返回的HTML保存到本地，确认是否与浏览器加载的内容一致：

' 在DownloadHTML函数返回前添加
Open "C:\temp\page_test.html" For Output As #1
Print #1, xhr.responseText
Close #1

打开该文件，检查是否包含价格信息，确认是否被反爬拦截。

3. 额外优化建议

• 避免使用Application.Wait阻塞Excel，可改用异步请求或更灵活的延迟逻辑。
• 若网站需要Cookie验证，可从浏览器复制Cookie值，添加到xhr请求头中：xhr.setRequestHeader("Cookie", "你的Cookie内容")。

内容的提问来源于stack exchange，提问作者Enrik Holomáň