PowerShell：如何分割字符串为UTF8编码加尾null后字节长度不超n的子串？

核心需求 #

将字符串分割为子串（或UTF-8字节数组），要求每个子串编码后加尾随null的总字节数不超过n（n≥5）。

现有方案分析 #

• 方案1：分割后编码校验
  先按大致粒度分割字符串，编码后检查总长度（含null），若超过n则缩小分割粒度重试。优点是逻辑简单，适合短字符串；缺点是多次编码会带来额外性能开销，长字符串下效率较低。
• 方案2：先编码再分割
  先将整个字符串编码为UTF-8字节数组，遍历数组统计字节数，同时跟踪UTF-8字符的边界（避免截断多字节字符），当累计长度加1（null字节）接近n时，在此字符边界处分割，最后给每个分段追加null字节。优点是只需一次编码，性能更优；缺点是需要手动处理UTF-8的多字节边界逻辑，要注意代理对转码后的字节结构。

更优方案推荐 #

直接基于码点遍历+预计算UTF-8字节长度的方式，无需提前编码也无需反复校验：

1. 遍历字符串的每个码点（而非字符，避免代理对问题），预计算每个码点对应的UTF-8字节长度：
   • 单字节：码点≤0x7F，长度1
   • 双字节：0x80≤码点≤0x7FF，长度2
   • 三字节：0x800≤码点≤0xFFFF，长度3
   • 四字节：0x10000≤码点≤0x10FFFF，长度4
2. 维护当前分段的累计字节数，每加入一个码点前，先判断累计长度 + 当前码点字节数 + 1（null）是否超过n：
   • 若未超过，将该码点对应的字符加入当前分段，更新累计长度
   • 若超过，将当前分段存入结果数组，重置当前分段和累计长度，再加入当前码点
3. 遍历结束后，将最后一个分段存入结果数组，每个分段编码后追加null字节（或直接生成带null的字节数组）。

优势 #

• 只需一次遍历码点，无需重复编码或事后分割字节数组，性能介于前两种方案之间，且逻辑清晰易维护
• 直接基于码点计算，天然避免截断代理对或多字节UTF-8字符的问题
• 可以按需选择输出字符串数组或UTF-8字节数组（生成字节数组时，可直接在遍历码点时编码并累计，最后追加null，无需二次编码）

示例伪代码 #

def split_string_by_utf8_length(s, n):
    result = []
    current_segment = []
    current_byte_len = 0
    for cp in s:
        # 计算当前码点的UTF-8字节长度
        cp_ord = ord(cp)
        if cp_ord <= 0x7F:
            cp_len = 1
        elif cp_ord <= 0x7FF:
            cp_len = 2
        elif cp_ord <= 0xFFFF:
            cp_len = 3
        else:
            cp_len = 4
        # 检查加入后是否超过n（含null）
        if current_byte_len + cp_len + 1 > n:
            # 保存当前分段，转为带null的字节数组
            result.append(''.join(current_segment).encode('utf-8') + b'\x00')
            current_segment = [cp]
            current_byte_len = cp_len
        else:
            current_segment.append(cp)
            current_byte_len += cp_len
    # 处理最后一个分段
    if current_segment:
        result.append(''.join(current_segment).encode('utf-8') + b'\x00')
    return result

内容的提问来源于stack exchange，提问作者Adamarla