Go语言中如何对字节数组内的固定长度记录进行排序

针对你处理数十GB大文件、按固定长度记录前20字节排序的需求，以下是高效的原地排序实现方案，解决你之前实现sort.Interface时的错误，同时避免结构体转换带来的性能损耗：

核心实现：正确的sort.Interface实现 #

直接基于字节数组实现排序接口，无需转换为结构体，全程原地操作：

import (
    "bytes"
    "sort"
)

const (
    recordSize  = 99  // 单条记录字节数
    sortKeySize = 20  // 排序键长度（前20字节）
)

// sortRecs 包装字节数组，实现sort.Interface接口
type sortRecs []byte

// Len 返回记录的数量，而非总字节数
func (s sortRecs) Len() int {
    return len(s) / recordSize
}

// Less 比较两条记录的前20字节排序键
func (s sortRecs) Less(i, j int) bool {
    iStart := i * recordSize
    jStart := j * recordSize
    // 直接用bytes.Compare比较二进制排序键，效率高
    return bytes.Compare(s[iStart:iStart+sortKeySize], s[jStart:jStart+sortKeySize]) < 0
}

// Swap 交换两条完整记录，使用栈分配缓冲区减少内存开销
func (s sortRecs) Swap(i, j int) {
    iStart := i * recordSize
    jStart := j * recordSize
    // 栈上分配固定大小临时缓冲区，避免每次make的GC开销
    var tmp [recordSize]byte
    // 三步完成原地交换
    copy(tmp[:], s[iStart:iStart+recordSize])
    copy(s[iStart:iStart+recordSize], s[jStart:jStart+recordSize])
    copy(s[jStart:jStart+recordSize], tmp[:])
}

使用方式 #

读取分块数据后，直接传入排序：

// 示例：读取10条记录到_bytes
_bytes := make([]byte, recordSize*10)
// 从文件读取数据到_bytes（注意处理Read的返回值，确保读满）
// ...

// 原地排序
sort.Sort(sortRecs(_bytes))

错误修正说明 #

你之前的实现存在两个核心问题：

• Len方法错误：返回的是单条记录的字节数99，而非总记录数。正确的Len应该是总字节数除以单条记录长度，这样sort包才会按记录索引遍历（0-9对应10条记录）。
• Swap方法错误：未将记录索引转换为字节起始位置，直接操作单个字节。需要用i*recordSize定位每条记录的起始索引，再交换完整的99字节块。

大文件分块处理建议 #

针对数十GB的大文件，需结合分块+归并排序：

1. 分块读取排序：根据可用内存确定分块大小（比如每次读取几百万条记录，占内存几百MB），排序后写入临时文件。
2. 多文件归并：所有分块处理完成后，打开所有临时文件，每次从每个文件读取当前首条记录，比较排序键后将最小的写入最终文件，循环直到所有临时文件读取完毕。

内容的提问来源于stack exchange，提问作者Jerry Jourdain