如何在VB.NET CefSharp中用JavaScript展开Google PAA并提取问答？

问题描述 #

在VB.NET中使用CefSharp浏览器，通过ExecuteScriptAsync执行JavaScript时，无法触发Google「People Also Ask（PAA）」板块的展开按钮点击操作，仅能成功操作其他页面元素，怀疑是元素选择器或事件触发方式有误，需要获取展开后的PAA问答内容。

PAA元素HTML结构 #

<div jsname="tJHJj" class="dnXCYb" aria-controls="_mtM8ZYO5IueaseMPheiNoAM_34" aria-expanded="false" role="button" tabindex="0" jsaction="AWEk5c">
    <div jsname="lN6iy" class="JlqpRe"><span class="JCzEY ZwRhJd"><span class="CSkcDe">Does Semrush provide free certification?</span></span>
    </div>
    <div jsname="Q8Kwad" class="aj35ze"></div>
    <div jsname="pcRaIe" class="L3Ezfd" data-ved="2ahUKEwiD7sSetpiCAxVnTWwGHQV0AzQQuk56BAgzEAI"></div>
    <div jsname="gwzXIc" class="ru2Kjc" data-ved="2ahUKEwiD7sSetpiCAxVnTWwGHQV0AzQQ36YDegQIMxAD"></div>
</div>

尝试过的无效代码 #

ChromiumWebBrowser1.ExecuteScriptAsync("document.getElementsByName('q')[0].value='semrush';document.getElementsByName('q')[0].focus();document.getElementsByName('q')[0].click();")

ChromiumWebBrowser1.ExecuteScriptAsync("document.getElementsByTagName('span')[0].click();")

'ChromiumWebBrowser1.EvaluateScriptAsync("document.querySelectorAll(""div[aria-expanded=""false""]"").forEach(button=>button.click())")

'ChromiumWebBrowser1.ExecuteScriptAsync("(function(){ document.querySelector('.div[aria-expanded=""false""])').click(); })();")

Dim qry As String = "$(document).ready(function(){
  $(""[aria-expanded]"").click(); });"
ChromiumWebBrowser1.ExecuteScriptAsync(qry)

可行解决方案 #

1. 核心问题修正 #

之前的代码存在三类问题：

• 选择器错误：比如.div[aria-expanded="false"]多了冗余点号（div是标签不是类）
• 引号转义混乱：VB字符串嵌套双引号时未正确处理
• 事件触发被拦截：直接调用click()可能被Google的前端逻辑拦截，需模拟真实点击事件

2. 完整VB.NET实现代码 #

' 绑定主框架加载完成事件，确保页面渲染后再执行操作
AddHandler ChromiumWebBrowser1.FrameLoadEnd, Sub(sender As Object, e As FrameLoadEndEventArgs)
    If e.Frame.IsMainFrame Then
        Dim jsScript As String = "
            function processPAA() {
                // 用jsname+role定位PAA按钮，比class更稳定（Google的class经常更新）
                const unexpandedButtons = document.querySelectorAll('div[jsname=""tJHJj""][role=""button""][aria-expanded=""false""]');
                
                if (unexpandedButtons.length === 0) {
                    // 未找到未展开按钮，1秒后重试（处理动态加载）
                    setTimeout(processPAA, 1000);
                    return;
                }

                // 模拟真实点击事件，避免被拦截
                unexpandedButtons.forEach(button => {
                    const clickEvent = new MouseEvent('click', {
                        bubbles: true,
                        cancelable: true,
                        view: window
                    });
                    button.dispatchEvent(clickEvent);
                });

                // 延迟500ms等待答案渲染完成，再提取数据
                return new Promise(resolve => {
                    setTimeout(() => {
                        const paaItems = document.querySelectorAll('div[jsname=""tJHJj""]');
                        const paaData = [];
                        
                        paaItems.forEach(item => {
                            const question = item.querySelector('.CSkcDe')?.textContent.trim();
                            // 展开后的答案通常在L3Ezfd相邻的div中，可根据实际结构调整选择器
                            const answer = item.querySelector('.L3Ezfd + div')?.textContent.trim();
                            
                            if (question) {
                                paaData.push({ question, answer: answer || '答案未加载' });
                            }
                        });
                        resolve(paaData);
                    }, 500);
                });
            }

            return processPAA();
        "

        ' 用EvaluateScriptAsync获取返回的PAA数据
        Dim evalTask = ChromiumWebBrowser1.EvaluateScriptAsync(jsScript)
        evalTask.ContinueWith(Sub(task)
            If task.IsCompletedSuccessfully Then
                Dim result = task.Result
                If result.Success AndAlso result.Result IsNot Nothing Then
                    ' 解析返回的JSON数据
                    Dim paaList = DirectCast(result.Result, Newtonsoft.Json.Linq.JArray)
                    For Each item In paaList
                        Dim question = item("question").ToString()
                        Dim answer = item("answer").ToString()
                        ' 这里可自行处理问答内容，比如存入集合或输出
                        Console.WriteLine($"问题：{question}")
                        Console.WriteLine($"答案：{answer}" & vbCrLf)
                    Next
                End If
            End If
        End Sub, TaskScheduler.FromCurrentSynchronizationContext())
    End If
End Sub

关键注意事项 #

• 选择器稳定性：优先使用jsname、role这类不易变动的属性定位元素，避免依赖频繁更新的class值
• 动态加载适配：PAA板块可能随页面滚动加载更多内容，若需获取全部PAA，可添加滚动模拟逻辑后重复执行展开操作
• 事件模拟：使用MouseEvent模拟真实点击，比直接调用click()更难被网站拦截
• 引号处理：VB字符串中嵌套双引号必须写成两个连续双引号（""），否则会触发语法错误

内容的提问来源于stack exchange，提问作者xhammer