使用VBA获取谷歌首个URL失败：无法找到rso元素报错

错误原因分析 #

• Google搜索页面结构已更新，原代码依赖的rso元素ID已不再使用，导致getelementbyid("rso")返回空对象。
• 代码使用的User-Agent版本过旧，Google可能将其识别为非合法请求，返回的页面内容不符合预期。
• 缺少请求异常处理，当请求失败或返回非搜索页面时，直接访问空对象会触发报错。

修复后的代码 #

Sub GetCompanyWebsite()
    Dim url As String, lastRow As Long, i As Long
    Dim XMLHTTP As Object, html As Object, objResults As Object, objItem As Object
    Dim startTime As Date, endTime As Date
    Dim searchKeyword As String
    
    lastRow = Range("A" & Rows.Count).End(xlUp).Row
    startTime = Time
    Debug.Print "开始时间: " & startTime
    
    For i = 2 To lastRow
        searchKeyword = Replace(Cells(i, 1).Value, " ", "+") ' 处理带空格的公司名
        url = "https://www.google.com/search?q=" & searchKeyword & "&num=1" ' 只获取第一个结果
        
        ' 创建XMLHTTP对象
        Set XMLHTTP = CreateObject("MSXML2.ServerXMLHTTP.6.0")
        On Error Resume Next
        XMLHTTP.Open "GET", url, False
        ' 更新User-Agent为现代浏览器标识
        XMLHTTP.setRequestHeader "User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36"
        XMLHTTP.setRequestHeader "Accept-Language", "zh-CN,zh;q=0.9"
        XMLHTTP.send
        
        ' 检查请求是否成功
        If XMLHTTP.Status <> 200 Then
            Cells(i, 2).Value = "请求失败"
            On Error GoTo 0
            GoTo NextIteration
        End If
        On Error GoTo 0
        
        ' 解析HTML
        Set html = CreateObject("htmlfile")
        html.body.innerHTML = XMLHTTP.ResponseText
        
        ' 用新的选择器定位搜索结果（当前Google搜索结果的容器类名为g）
        Set objResults = html.getElementsByClassName("g")
        
        If objResults.Length > 0 Then
            Set objItem = objResults(0).getElementsByTagName("a")(0)
            Cells(i, 2).Value = objItem.innerText ' 标题
            Cells(i, 3).Value = objItem.href ' 链接
        Else
            Cells(i, 2).Value = "未找到结果"
        End If
        
NextIteration:
        DoEvents
        Set XMLHTTP = Nothing
        Set html = Nothing
    Next i
    
    endTime = Time
    Debug.Print "结束时间: " & endTime
    Debug.Print "完成，耗时: " & DateDiff("n", startTime, endTime) & " 分钟"
    MsgBox "完成，耗时: " & DateDiff("n", startTime, endTime) & " 分钟"
End Sub

关键修复点 #

• 更新页面选择器：将原rsoID改为当前Google搜索结果的容器类名g，直接定位第一个搜索结果项。
• 升级User-Agent：使用现代Chrome浏览器的标识，避免被Google拦截或返回异常页面。
• 增加错误处理：检查请求状态码，当请求失败时标记结果，防止空对象报错。
• 优化搜索关键词：替换公司名中的空格为+，确保URL格式正确。
• 限制结果数量：通过&num=1参数只获取第一个搜索结果，提升效率。

注意事项 #

• Google有反爬机制，频繁请求可能会触发验证码或IP封禁，建议在循环中添加Application.Wait Now + TimeValue("00:00:02")来增加请求间隔。
• 若仍出现无结果的情况，可能需要进一步调整User-Agent或使用代理IP。

内容的提问来源于stack exchange，提问作者JoaMika