如何优化F#中字节数组转字符串切片器以提升性能？

需求背景 #

需要将包含空终止字符串的字节数组切片，返回对应的字符串序列。测试数据、现有代码及预期输出如下：

测试数据：

let a: byte array = [| 65uy;73uy;76uy;74uy;73uy;0uy;73uy;74uy;0uy;72uy;75uy;72uy;0uy;0uy;73uy;75uy; |]

现有切片代码：

let toTextSlices (x: byte array) (separator: byte) : string seq =
    let mutable last = 0
    let length = x.Length - 1
    
    let rec findSeparator position : int =
        if position < length && x[position] <> separator then findSeparator (position + 1)
        else position
        
    seq {
        while (last < length) do
            let l = findSeparator last
            if x[last] <> separator then
                yield Text.Encoding.ASCII.GetString (x[last .. l])
            last <- l + 1
    }

调用toTextSlices a 0uy后，预期输出为[| "AILJI"; "IJ"; "HKH"; "IK" |]。由于数组规模可达10MB，需要优化代码以减少内存分配、提升性能。

现有代码的性能瓶颈 #

1. 递归查找的栈开销：递归实现的findSeparator在处理超长连续非分隔符段时，可能引发栈溢出风险，同时递归调用的开销高于循环。
2. 子数组内存分配：x[last .. l]会创建新的字节数组切片，每一次切片都会产生额外的内存分配，在处理大数组时会累积大量临时内存，增加GC压力。

优化后的代码 #

open System.Text

let toTextSlices (x: byte array) (separator: byte) : string seq =
    let totalLength = x.Length
    seq {
        let mutable startIndex = 0
        while startIndex < totalLength do
            // 循环查找下一个分隔符位置
            let mutable endIndex = startIndex
            while endIndex < totalLength && x[endIndex] <> separator do
                endIndex <- endIndex + 1
            
            // 跳过空的分隔符段（如连续两个0的情况）
            if endIndex > startIndex then
                // 直接使用原数组索引与长度，避免创建子数组
                yield Encoding.ASCII.GetString(x, startIndex, endIndex - startIndex)
            
            // 移动到下一段的起始位置
            startIndex <- endIndex + 1
    }

优化点说明 #

• 替换递归为循环：用while循环替代递归查找分隔符，消除栈溢出风险，同时降低函数调用开销。
• 避免子数组分配：改用Encoding.ASCII.GetString的(byte[], int, int)重载，直接基于原数组的起始索引和长度生成字符串，完全避免了子数组的创建，大幅减少内存分配。
• 简化边界逻辑：直接使用数组完整长度totalLength，逻辑更清晰，同时正确处理数组末尾无分隔符的场景。
• 保留延迟枚举特性：依然返回string seq，保持延迟计算的优势，不会一次性加载所有字符串到内存，适合处理大数组。

内容的提问来源于stack exchange，提问作者Thomas