如何使用Jsoup（Java）获取YouTube自动补全搜索结果？

嘿，我之前也折腾过用Jsoup抓YouTube自动补全的需求，刚好能给你指几个靠谱的方向——完全不用YouTube Data API，纯靠Jsoup加一点点JSON解析就能搞定：

1. 先摸清楚YouTube自动补全的真实请求逻辑 #

YouTube的搜索建议并不是直接渲染在页面HTML里的，而是通过Google的一个专门搜索建议接口返回的。你可以打开浏览器开发者工具（按F12），切换到「网络」标签，然后在YouTube搜索框输入关键词，就能抓到类似这样的请求：
https://suggestqueries.google.com/complete/search?client=youtube&q=你的关键词&hl=zh-CN

• client=youtube：指定返回适配YouTube的建议格式
• q：你要搜索的关键词（记得URL编码）
• hl：设置返回语言（比如zh-CN对应中文建议）

这个接口返回的是JSON格式的数组，里面就包含了所有自动补全的关键词列表。

2. 用Jsoup模拟这个请求 #

虽然Jsoup主打HTML解析，但它也能发送HTTP请求获取响应内容。关键是要设置正确的请求头，尤其是User-Agent，不然Google会直接拒绝你的请求。示例代码大概是这样：

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import java.net.URLEncoder;

public class YoutubeAutoComplete {
    public static void main(String[] args) throws Exception {
        String keyword = "java tutorial";
        String encodedKeyword = URLEncoder.encode(keyword, "UTF-8");
        String url = "https://suggestqueries.google.com/complete/search?client=youtube&q=" + encodedKeyword + "&hl=en";

        Document doc = Jsoup.connect(url)
                .userAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36")
                .ignoreContentType(true) // 因为返回的是JSON而非HTML，必须忽略内容类型检查
                .referrer("https://www.youtube.com/") // 模拟从YouTube页面发起的请求，降低被拦截概率
                .get();

        // 获取响应的纯文本JSON内容
        String jsonResponse = doc.text();
        System.out.println(jsonResponse);
    }
}

3. 解析返回的JSON数据 #

Jsoup本身不擅长处理JSON，所以你需要搭配一个轻量的JSON解析库（比如org.json或者Gson）来提取自动补全内容。比如用org.json的示例：

import org.json.JSONArray;

// 接上面的代码，拿到jsonResponse之后
JSONArray jsonArray = new JSONArray(jsonResponse);
// 数组第一个元素是你输入的关键词，第二个元素就是自动补全建议列表
JSONArray suggestions = jsonArray.getJSONArray(1);

// 遍历输出所有建议
for (int i = 0; i < suggestions.length(); i++) {
    String suggestion = suggestions.getString(i);
    System.out.println("自动补全建议：" + suggestion);
}

几个避坑提醒 #

• 一定要用真实的User-Agent，随便抄一个主流浏览器的UA就行，不然很容易被Google的反爬机制拦截，返回403或者空内容
• 如果还是被限制，可以尝试添加Cookie请求头（从浏览器的YouTube页面复制几个常用Cookie），但Cookie可能会过期，需要定期更新
• 这个接口的参数偶尔会有小调整，建议每次测试前先通过浏览器抓包确认最新的请求格式

内容的提问来源于stack exchange，提问作者raj kavadia