如何通过cgo无内存拷贝将大字节切片或io.Reader优雅传递给C？

存在成熟的优雅解决方案，不需要放弃Go侧的IO处理便利性，可根据你的Go版本和业务场景选择对应方案。

方案1：runtime.Pinner固定Go内存（Go 1.21+ 推荐，零拷贝） #

这是目前最优的解决方案，Go 1.21版本正式引入的runtime.Pinner可以将Go分配的内存块标记为不可被GC回收、不可被内存移动，直到显式调用Unpin方法，完全解决Go内存传递给C侧的GC风险。
示例代码：

package main

/*
#include <stdint.h>
// 替换为你的C数据处理函数声明
void process_big_data(uint8_t* data, size_t len);
*/
import "C"
import (
    "runtime"
    "unsafe"
)

func CallCProcess(goData []byte) {
    var pinner runtime.Pinner
    // 固定byte slice的底层数组首地址
    pinner.Pin(unsafe.SliceData(goData))
    // C侧处理完成后自动解除固定，避免内存泄漏
    defer pinner.Unpin()

    // 直接传递指针和长度给C函数，无拷贝开销
    C.process_big_data(
        (*C.uint8_t)(unsafe.SliceData(goData)),
        C.size_t(len(goData)),
    )
}

注：Go 1.20及以下版本获取slice首指针可替换为(*byte)(unsafe.Pointer(&goData[0]))，需保证slice非空。

方案2：C堆内存拷贝（兼容所有Go版本） #

如果使用的是1.21以下的低版本Go，没有runtime.Pinner可用，可以直接在C堆上申请内存，将Go slice的数据拷贝到C堆后传递指针，C堆内存完全不受Go GC管理，不会出现段错误。
示例代码：

package main

/*
#include <stdlib.h>
#include <stdint.h>
void process_big_data(uint8_t* data, size_t len);
*/
import "C"
import (
    "unsafe"
)

func CallCProcess(goData []byte) {
    dataLen := C.size_t(len(goData))
    // 在C堆申请对应大小的内存
    cBuf := C.malloc(dataLen)
    // 用完自动释放C堆内存，避免泄漏
    defer C.free(cBuf)

    // 拷贝Go侧数据到C堆
    C.memcpy(cBuf, unsafe.Pointer(unsafe.SliceData(goData)), dataLen)

    // 传递C堆指针给处理函数
    C.process_big_data((*C.uint8_t)(cBuf), dataLen)
}

该方案存在4GB数据的拷贝开销，适合对性能要求不极致的场景。

方案3：mmap映射内存（零拷贝，兼容所有Go版本） #

如果你的数据本身来源于文件，或者可以直接用mmap申请内存存储数据，syscall.Mmap映射的内存属于操作系统级内存，不归Go GC管理，既可以在Go侧直接当作[]byte读写，也可以直接传递指针给C侧使用，无GC风险。
示例代码：

package main

/*
#include <stdint.h>
void process_big_data(uint8_t* data, size_t len);
*/
import "C"
import (
    "os"
    "syscall"
    "unsafe"
)

func ProcessFileData(filePath string) error {
    f, err := os.Open(filePath)
    if err != nil {
        return err
    }
    defer f.Close()

    fi, err := f.Stat()
    if err != nil {
        return err
    }
    dataSize := int(fi.Size())

    // 映射文件到内存，得到的[]byte不受Go GC管理
    goData, err := syscall.Mmap(int(f.Fd()), 0, dataSize, syscall.PROT_READ, syscall.MAP_PRIVATE)
    if err != nil {
        return err
    }
    // 用完解除映射，避免系统内存泄漏
    defer syscall.Munmap(goData)

    // 直接传递指针给C函数
    C.process_big_data((*C.uint8_t)(unsafe.SliceData(goData)), C.size_t(dataSize))
    return nil
}

• 禁止在未固定内存的情况下，将Go堆分配的[]byte指针直接传递给C侧长期持有，GC回收或移动内存后必然触发段错误
• runtime.Pinner只能用于固定Go堆分配的内存，栈内存、C堆内存、mmap内存不需要也不能使用Pinner固定
• 所有手动申请的内存（C堆内存、mmap映射内存）必须显式释放，否则会出现内存泄漏

内容的提问来源于stack exchange，提问作者lotsof one