Android HttpURLConnection请求YouTube oembed接口始终返回403如何解决

触发403的核心原因 #

• 你当前请求oembed接口使用的是明文HTTP协议，YouTube已全面拦截这类明文请求，不会自动跳转HTTPS，直接返回403
• 配置的User-Agent是2014年发布的Firefox 31版本，属于反爬规则重点拦截的异常客户端标识
• 仅配置User-Agent缺少其他基础请求头，会被流量识别规则判定为脚本爬虫请求
• 传入的YouTube链接未做URL编码，带特殊字符的视频ID会导致请求参数异常，触发拦截

具体修改步骤 #

• 将oembed接口地址替换为HTTPS协议版本，若主域名偶发拦截可替换为同权益的nocookie域名端点，返回数据结构完全一致
• 替换为近年真实的客户端User-Agent，不要使用超过3年以上的过时浏览器标识
• 补全Accept、Accept-Language等基础请求头，模拟真实客户端的请求特征
• 对传入的YouTube视频链接做URL编码，避免特殊字符导致参数解析错误
• 配置合理的连接、读取超时，避免长时间挂起

修正后的核心代码片段 #

替换原有doInBackground方法中的请求逻辑即可：

protected String doInBackground(String... urls) {
    try {
        String youtubeUrl = urls[0];
        if (youtubeUrl != null && !youtubeUrl.isEmpty()) {
            // 对传入的视频地址做URL编码
            String encodedVideoUrl = URLEncoder.encode(youtubeUrl, "UTF-8");
            // 使用HTTPS协议的oembed端点
            URL url = new URL("https://www.youtube.com/oembed?url=" + encodedVideoUrl + "&format=json");

            HttpURLConnection connection = null;
            BufferedReader reader = null;

            try {
                connection = (HttpURLConnection) url.openConnection();
                // 替换为真实的近期移动端Chrome UA
                connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Linux; Android 14; SM-S918B) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Mobile Safari/537.36");
                // 补全基础请求头
                connection.setRequestProperty("Accept", "application/json,text/plain,*/*");
                connection.setRequestProperty("Accept-Language", "zh-CN,zh;q=0.9,en;q=0.8");
                connection.setRequestProperty("Connection", "keep-alive");
                connection.setConnectTimeout(15000);
                connection.setReadTimeout(15000);
                connection.connect();

                if (connection.getResponseCode() != HttpURLConnection.HTTP_OK) {
                    Log.d(TAG, "HTTP response code is " + connection.getResponseCode());
                    // 主域名请求失败时自动重试nocookie端点
                    url = new URL("https://www.youtube-nocookie.com/oembed?url=" + encodedVideoUrl + "&format=json");
                    connection.disconnect();
                    connection = (HttpURLConnection) url.openConnection();
                    connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Linux; Android 14; SM-S918B) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Mobile Safari/537.36");
                    connection.setRequestProperty("Accept", "application/json,text/plain,*/*");
                    connection.setRequestProperty("Accept-Language", "zh-CN,zh;q=0.9,en;q=0.8");
                    connection.setConnectTimeout(15000);
                    connection.setReadTimeout(15000);
                    connection.connect();
                    if (connection.getResponseCode() != HttpURLConnection.HTTP_OK) {
                        Log.d(TAG, "Retry failed, response code is " + connection.getResponseCode());
                        return null;
                    }
                }

                InputStream stream = connection.getInputStream();
                reader = new BufferedReader(new InputStreamReader(stream));
                StringBuffer buffer = new StringBuffer();
                String line = "";
                while ((line = reader.readLine()) != null) {
                    buffer.append(line).append("\n");
                }
                // 此处拿到的是标准oembed JSON，直接解析title字段即可获取视频标题
                return buffer.toString();

            } catch (MalformedURLException e) {
                e.printStackTrace();
            } catch (IOException e) {
                e.printStackTrace();
            } finally {
                if (connection != null) {
                    connection.disconnect();
                }
                try {
                    if (reader != null) {
                        reader.close();
                    }
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
            return null;
        }
    } catch (Exception e) {
        e.printStackTrace();
    }
    return null;
}

额外注意事项 #

• 如果修改后仍然返回403，先检查测试设备的网络环境：使用机房代理、VPN或者被标记为爬虫的IP段，会被YouTube直接拦截，更换民用家庭网络测试即可
• oembed接口返回的是标准JSON结构，拿到返回值后直接取title字段就能拿到视频标题，不需要做复杂的页面解析
• 如果oembed接口在部分网络环境下始终不通，可以直接请求视频watch页面，提取页面meta标签中的og:title属性值获取标题，稳定性也很高

内容的提问来源于stack exchange，提问作者lukasniessen