Java中如何按指定字节数有效截取UTF-8编码字符串？

在Java开发中，需要将文件名限制为UTF-8编码下的255字节。由于单个UTF-8字符可能占用1-4字节，直接按字节截取会破坏字符完整性，例如：

String sampleString = "컴퓨터";
byte[] bytes = sampleString.getBytes(StandardCharsets.UTF_8);
String limitedString = new String(bytes, 0, 5, StandardCharsets.UTF_8);

这段代码会得到类似컴�的错误结果，因为截断了多字节字符的中间部分。

现有方案通过StringBuilder逐个添加字符并校验临时字符串的字节长度，但每次循环都生成临时字符串和字节数组，内存开销大：

String sampleString = "컴퓨터";

StringBuilder sb = new StringBuilder();
for (int i = 0; i < sampleString.length(); i++) {
    String temp = sb.toString() + sampleString.codePointAt(i); // 构建临时字符串
    if (temp.getBytes("utf8").length > 5) {                    // 转字节并检查长度
        break;                                                 // 超限制则终止
    }
    sb.append(sampleString.codePointAt(i));                    // 符合则添加字符
}

以下是两种性能更优的实现方案：

方案一：累加代码点字节长度（低内存开销） #

核心思路是直接计算每个Unicode代码点的UTF-8字节长度，累加计数，避免重复生成临时字符串和字节数组：

import java.nio.charset.StandardCharsets;

public class FileNameTruncator {
    public static String truncateToUtf8ByteLimit(String input, int maxBytes) {
        if (input == null || maxBytes <= 0) {
            return "";
        }

        int currentByteCount = 0;
        StringBuilder result = new StringBuilder();
        int codePoint;

        // 遍历字符串的每个Unicode代码点（处理代理对）
        for (int i = 0; i < input.length(); i += Character.charCount(codePoint)) {
            codePoint = input.codePointAt(i);
            int codePointByteLength = calculateUtf8ByteLength(codePoint);

            // 检查添加当前代码点是否超过字节限制
            if (currentByteCount + codePointByteLength > maxBytes) {
                break;
            }

            result.appendCodePoint(codePoint);
            currentByteCount += codePointByteLength;
        }

        return result.toString();
    }

    // 计算单个Unicode代码点的UTF-8字节长度
    private static int calculateUtf8ByteLength(int codePoint) {
        if (codePoint <= 0x7F) {
            return 1; // ASCII字符，1字节
        } else if (codePoint <= 0x7FF) {
            return 2; // 2字节UTF-8字符
        } else if (codePoint <= 0xFFFF) {
            return 3; // 3字节UTF-8字符
        } else if (codePoint <= 0x10FFFF) {
            return 4; // 4字节UTF-8字符（Unicode补充平面）
        }
        throw new IllegalArgumentException("无效的Unicode代码点: " + codePoint);
    }
}

优势 #

• 无需重复生成临时字符串和字节数组，内存开销大幅降低
• 直接遍历代码点，天然支持Unicode代理对（如emoji等4字节字符）
• 时间复杂度为O(n)，n为字符串的代码点数量，性能高效

方案二：字节数组反向查找边界（代码简洁） #

如果文件名长度不会特别大，可以先将字符串转为UTF-8字节数组，再从限制位置反向查找合法的字符起始边界：

import java.nio.charset.StandardCharsets;

public class FileNameTruncator {
    public static String truncateToUtf8ByteLimitAlternative(String input, int maxBytes) {
        if (input == null || maxBytes <= 0) {
            return "";
        }

        byte[] utf8Bytes = input.getBytes(StandardCharsets.UTF_8);
        if (utf8Bytes.length <= maxBytes) {
            return input;
        }

        // 从maxBytes位置往前查找第一个UTF-8起始字节
        int truncateIndex = maxBytes;
        // UTF-8续字节的二进制特征是10xxxxxx，即与0xC0按位与等于0x80
        while (truncateIndex > 0 && (utf8Bytes[truncateIndex] & 0xC0) == 0x80) {
            truncateIndex--;
        }

        return new String(utf8Bytes, 0, truncateIndex, StandardCharsets.UTF_8);
    }
}

优势 #

• 代码简洁直观，实现成本低
• 适合短字符串场景，性能表现足够

注意事项 #

• 若输入字符串极长，转换为字节数组会占用较多内存，此时方案一更优

方案对比 #

内容的提问来源于stack exchange，提问作者Dawid Pura