Java：使用Socket提取网站HTML无法获取内容的技术问题

嘿，我来帮你搞定这个用Socket获取HTTPS网页内容的问题！你的代码现在拿不到内容，主要有两个核心问题：一是Google用的是HTTPS，普通Socket没法处理SSL/TLS加密握手；二是你连到服务器后根本没发送任何HTTP请求，服务器不知道要返回什么给你。

问题拆解 #

• 普通Socket不支持HTTPS加密：443是HTTPS的默认端口，服务器会先要求客户端完成SSL/TLS握手，建立加密连接后才会处理HTTP请求。你用普通Socket连过去，没法完成握手，服务器会一直等待直到超时，自然读不到任何数据。
• 缺少HTTP请求：就算是普通HTTP，你也得明确告诉服务器要请求哪个页面（比如GET / HTTP/1.1），HTTPS场景下还需要Host头来确定你要访问的虚拟主机，不然服务器可能直接返回400错误。

解决方案：用SSLSocket实现HTTPS通信 #

我们需要用SSLSocket代替普通Socket来处理加密握手，同时发送标准的HTTP请求头。以下是修正后的完整代码：

import javax.net.ssl.SSLSocket;
import javax.net.ssl.SSLSocketFactory;
import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;

public class HttpsSocketClient {
    public static void main(String[] args) {
        String host = "google.com";
        int port = 443;
        String targetPath = "/"; // 请求网站根路径

        // 获取默认SSLSocket工厂，负责处理SSL/TLS握手逻辑
        SSLSocketFactory sslFactory = (SSLSocketFactory) SSLSocketFactory.getDefault();

        // 使用try-with-resources自动关闭资源，避免手动关闭的繁琐和异常遗漏
        try (SSLSocket sslSocket = (SSLSocket) sslFactory.createSocket(host, port);
             BufferedWriter requestWriter = new BufferedWriter(new OutputStreamWriter(sslSocket.getOutputStream(), "UTF-8"));
             BufferedReader responseReader = new BufferedReader(new InputStreamReader(sslSocket.getInputStream(), "UTF-8"))) {

            sslSocket.setSoTimeout(15000);

            // 发送标准HTTP GET请求，必须包含Host头（HTTP/1.1必填）
            requestWriter.write("GET " + targetPath + " HTTP/1.1\r\n");
            requestWriter.write("Host: " + host + "\r\n");
            requestWriter.write("User-Agent: Java SSL Socket Client\r\n"); // 模拟浏览器标识，避免被服务器拦截
            requestWriter.write("Connection: close\r\n"); // 告诉服务器响应后关闭连接
            requestWriter.write("\r\n"); // 空行表示请求头结束
            requestWriter.flush(); // 强制刷新缓冲区，确保请求发送到服务器

            // 读取服务器返回的响应内容
            String line;
            while ((line = responseReader.readLine()) != null) {
                System.out.println(line);
            }

        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

关键细节说明 #

• SSLSocket的作用：SSLSocketFactory会自动完成SSL/TLS握手流程，帮你建立加密连接，这样服务器才会正常响应你的请求。
• HTTP请求头的必要性：Host头是HTTP/1.1的必填项，用来区分同一IP下的不同域名；User-Agent可以避免部分服务器的反爬拦截；Connection: close让服务器在返回响应后主动关闭连接，方便我们读取完数据就结束程序。
• try-with-resources语法：自动关闭socket、输入输出流，不用手动处理close()的异常，代码更简洁安全。

如果需要访问使用自签名证书的网站，还需要自定义TrustManager来信任证书，但访问Google这类公共网站时，默认的SSLSocketFactory就能处理，因为它信任系统内置的根证书。

内容的提问来源于stack exchange，提问作者parsa