如何在Visual Studio中用C#读取谷歌搜索页面数据（无需谷歌API）

方案一：直接发送HTTP请求获取页面源码（推荐） #

Process.Start只是启动独立的浏览器进程，无法直接读取其页面数据。更高效的方式是跳过浏览器，直接向谷歌搜索接口发送请求并解析返回的HTML：

• 构造搜索请求URL，格式为https://www.google.com/search?q=你的搜索关键词，注意对关键词做URL编码
• 使用HttpClient发送GET请求，需设置浏览器UA头避免被拦截
• 用HTML解析库（如HtmlAgilityPack）提取搜索结果的标题、链接、摘要等内容

示例代码（C#）：

using System.Net.Http;
using HtmlAgilityPack;

var httpClient = new HttpClient();
// 模拟浏览器请求头，防止被反爬拦截
httpClient.DefaultRequestHeaders.UserAgent.ParseAdd("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36");

string searchQuery = "机器学习入门";
string url = $"https://www.google.com/search?q={Uri.EscapeDataString(searchQuery)}";

var response = await httpClient.GetAsync(url);
response.EnsureSuccessStatusCode();
string htmlContent = await response.Content.ReadAsStringAsync();

// 解析HTML提取结果
var htmlDoc = new HtmlDocument();
htmlDoc.LoadHtml(htmlContent);
var resultNodes = htmlDoc.DocumentNode.SelectNodes("//div[@class='g']");

if (resultNodes != null)
{
    foreach (var node in resultNodes)
    {
        var titleNode = node.SelectSingleNode(".//h3");
        var linkNode = node.SelectSingleNode(".//a[@href]");
        var snippetNode = node.SelectSingleNode(".//div[@class='IsZvec']");
        
        if (titleNode != null && linkNode != null)
        {
            string title = titleNode.InnerText;
            string link = linkNode.GetAttributeValue("href", "");
            // 处理谷歌的跳转链接格式
            if (link.StartsWith("/url?q="))
            {
                link = Uri.UnescapeDataString(link.Substring(7).Split('&')[0]);
            }
            string snippet = snippetNode?.InnerText ?? "";
            
            Console.WriteLine($"标题：{title}\n链接：{link}\n摘要：{snippet}\n");
        }
    }
}

注意：需控制请求频率，避免触发谷歌的反爬机制；谷歌页面结构可能更新，需定期调整HTML选择器。

方案二：控制已启动的浏览器进程读取内容 #

如果必须依赖Process.Start打开的浏览器，可借助浏览器自动化工具实现：

• 启动浏览器时添加远程调试参数：Process.Start("chrome.exe", "--remote-debugging-port=9222 https://Google.com")
• 使用Selenium WebDriver附加到该调试端口，获取页面源码并解析

示例代码（C# + Selenium）：

using OpenQA.Selenium;
using OpenQA.Selenium.Chrome;

var options = new ChromeOptions();
options.DebuggerAddress = "localhost:9222";
var driver = new ChromeDriver(options);

// 获取当前页面源码
string pageSource = driver.PageSource;
// 后续解析逻辑同方案一，使用HtmlAgilityPack处理

driver.Quit();

注意：需下载对应浏览器版本的驱动程序，且该方式复杂度高于方案一。

重要提醒 #

无论采用哪种方案，都需遵守谷歌的服务条款，避免大规模爬取或违规使用其内容。

内容的提问来源于stack exchange，提问作者ICODE