Java中使用writeUTF与readUTF实现HTTP请求及网页爬取方法咨询

嘿，我来帮你拆解下这段代码的问题，还有聊聊用writeUTF和readUTF来做HTTP请求的坑~

这段代码的思路（用Socket直接和HTTP服务器通信）是对的，但细节上完全不符合HTTP协议的要求，主要问题集中在DataOutputStream.writeUTF()和DataInputStream.readUTF()的使用上：

• 额外的长度前缀破坏HTTP格式：writeUTF()会在你发送的字符串前面自动添加两个字节的长度标识，而HTTP请求是纯文本格式的，服务器收到这种带前缀的请求会直接判定为非法，返回400 Bad Request错误。
• 读取响应会失败：readUTF()需要读取开头的长度前缀才能正确解析字符串，但HTTP服务器返回的响应根本没有这个前缀，执行时要么抛出EOFException，要么读取到一堆乱码；而且readUTF()最多只能读取65535字节，完全无法处理正常的网页响应。
• 资源泄漏风险：代码里没有关闭Socket、输入输出流，长期运行会导致系统资源耗尽。
• 缺少请求刷新：DataOutputStream的缓冲可能导致请求没有真正发送到服务器，需要调用flush()强制发送。

结论是：完全不适合，原因有三：

1. 这两个方法是为Java序列化设计的，专门用来在Java程序之间传递字符串，不是为HTTP这种基于文本的协议设计的。
2. HTTP请求/响应的编码是标准UTF-8或ISO-8859-1，而writeUTF用的是Modified UTF-8（和标准UTF-8有差异，比如对null字符的处理），会导致字符编码错误。
3. HTTP协议依赖换行符、Content-Length头或分块编码来确定内容边界，和writeUTF/readUTF的长度前缀机制完全不兼容。

如果一定要用Socket手动实现HTTP请求，应该用普通的流来操作，严格遵循HTTP协议的格式：

import java.io.*;
import java.net.Socket;
import java.nio.charset.StandardCharsets;

static void get_html(String host, String page, int port) throws IOException {
    // 使用try-with-resources自动关闭所有资源，避免泄漏
    try (Socket sock = new Socket(host, port);
         OutputStream out = sock.getOutputStream();
         BufferedReader in = new BufferedReader(new InputStreamReader(sock.getInputStream(), StandardCharsets.UTF_8))) {
        
        // 构造符合HTTP/1.1规范的GET请求
        String request = String.format("GET %s HTTP/1.1\r\nHost: %s\r\nConnection: close\r\n\r\n", page, host);
        // 按ASCII编码写入请求头（HTTP头要求用ASCII）
        out.write(request.getBytes(StandardCharsets.US_ASCII));
        out.flush(); // 强制发送请求
        
        // 逐行读取服务器响应
        String line;
        while ((line = in.readLine()) != null) {
            System.out.println(line);
        }
    }
}

如果不是为了学习Socket和HTTP协议的底层细节，建议直接使用Java自带的HttpURLConnection，或者第三方库如OkHttp、Apache HttpClient。这些工具已经封装了HTTP协议的所有细节（比如重定向、Cookie管理、分块响应等），比自己手动写Socket可靠得多。

内容的提问来源于stack exchange，提问作者GabrielChu