如何在Python服务器生成Java DataInputStream.readUTF()兼容的字符串格式？

嘿，这个问题我之前帮不少开发者踩过坑——Java的DataInputStream.readUTF()用的可不是标准UTF-8，而是修改版UTF-8，有几个关键的差异点，我直接给你说怎么在Python服务器端生成符合要求的字节流：

核心差异说明 #

Java的修改版UTF-8和标准UTF-8主要有三处不同：

• 开头必须添加2字节的大端序无符号短整型，用来标识后续UTF-8数据的字节长度（注意是字节数，不是字符数）
• 对于U+0000（空字符），标准UTF-8用单字节0x00，但修改版需要用双字节0xC0 0x80
• 对于U+10000及以上的Unicode补充字符（比如emoji），标准UTF-8用4字节编码，而修改版会拆成两个UTF-16代理码元，每个码元用3字节UTF-8编码，总共6字节

Python实现代码 #

下面是一个完整的Python函数，能直接生成符合Java要求的修改版UTF-8字节流：

def java_modified_utf8(s: str) -> bytes:
    modified_bytes = []
    for char in s:
        char_code = ord(char)
        if char_code == 0:
            # 处理空字符，替换为双字节编码
            modified_bytes.extend([0xC0, 0x80])
        elif char_code <= 0x7F:
            # 单字节ASCII字符
            modified_bytes.append(char_code)
        elif char_code <= 0x7FF:
            # 双字节UTF-8
            modified_bytes.append(0xC0 | (char_code >> 6))
            modified_bytes.append(0x80 | (char_code & 0x3F))
        elif char_code <= 0xFFFF:
            # 三字节UTF-8
            modified_bytes.append(0xE0 | (char_code >> 12))
            modified_bytes.append(0x80 | ((char_code >> 6) & 0x3F))
            modified_bytes.append(0x80 | (char_code & 0x3F))
        else:
            # 处理Unicode补充字符，拆分为UTF-16代理对
            code_point = char_code
            high_surrogate = 0xD800 + ((code_point - 0x10000) >> 10)
            low_surrogate = 0xDC00 + ((code_point - 0x10000) & 0x3FF)
            # 编码高代理码元
            modified_bytes.append(0xE0 | (high_surrogate >> 12))
            modified_bytes.append(0x80 | ((high_surrogate >> 6) & 0x3F))
            modified_bytes.append(0x80 | (high_surrogate & 0x3F))
            # 编码低代理码元
            modified_bytes.append(0xE0 | (low_surrogate >> 12))
            modified_bytes.append(0x80 | ((low_surrogate >> 6) & 0x3F))
            modified_bytes.append(0x80 | (low_surrogate & 0x3F))
    
    # 检查字节长度是否超过Java readUTF的限制（最大65535字节）
    byte_length = len(modified_bytes)
    if byte_length > 65535:
        raise ValueError("字符串转换后的字节长度超过65535，无法被Java的readUTF()解析")
    
    # 拼接2字节长度前缀（大端序）和编码后的字节
    return byte_length.to_bytes(2, byteorder='big') + bytes(modified_bytes)

使用示例 #

比如你要发送字符串"Hello\x00World! 😊"，只需要调用函数生成字节流，然后通过网络发送给Java客户端：

import socket

# 假设服务器绑定到本地8888端口
server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
server_socket.bind(('localhost', 8888))
server_socket.listen(1)

conn, addr = server_socket.accept()
print(f"连接来自 {addr}")

# 生成符合要求的字节流
message = "Hello\x00World! 😊"
send_data = java_modified_utf8(message)
conn.sendall(send_data)

conn.close()
server_socket.close()

验证方法 #

你可以用Java的DataOutputStream.writeUTF()生成标准的修改版UTF-8字节流，和Python生成的对比，确保两者一致：

import java.io.ByteArrayOutputStream;
import java.io.DataOutputStream;
import java.io.IOException;

public class TestUTFEncoding {
    public static void main(String[] args) throws IOException {
        ByteArrayOutputStream baos = new ByteArrayOutputStream();
        DataOutputStream dos = new DataOutputStream(baos);
        dos.writeUTF("Hello\x00World! 😊");
        byte[] javaBytes = baos.toByteArray();
        
        // 打印字节十六进制值，和Python输出对比
        for (byte b : javaBytes) {
            System.out.printf("%02X ", b);
        }
    }
}

内容的提问来源于stack exchange，提问作者רועי כרמי