使用O_DIRECT写入时如何避免末尾空字符（NUL）？

核心问题本质 #

O_DIRECT的硬性要求是：写入的缓冲区地址必须对齐到存储块大小，且写入字节数是块大小的整数倍。这导致写入小于块大小的数据时，必须填充空字符到块大小才能完成写入，而后续用ftruncate截断又会触发额外IO，既降低速度又增加SSD写入放大（加速损耗）。

根源性解决方案 #

1. 缓存凑块写入（推荐，无额外空字符） #

如果业务场景允许延迟写入，维护一个内存缓冲区积累小数据，直到数据量达到块大小（或接近）时，再执行O_DIRECT批量写入。完全避免空字符填充和截断操作。

Go语言实现示例：

package main

import (
    "golang.org/x/sys/unix"
    "unsafe"
)

// 直接分配对齐的缓冲区，省去手动计算偏移的麻烦
func allocAlignedBuf(size int) []byte {
    buf, err := unix.Malloc(size)
    if err != nil {
        panic(err)
    }
    return (*[1 << 30]byte)(unsafe.Pointer(buf))[:size:size]
}

func main() {
    blockSize := 512 // 可替换为SSD物理块大小（用blockdev --getpbsz获取）
    path := "/path/to/file.txt"

    // 打开O_DIRECT模式的文件句柄（用于大块写入）
    fdDirect, err := unix.Open(path, unix.O_RDWR|unix.O_CREAT|unix.O_DIRECT, 0666)
    if err != nil {
        panic(err)
    }
    defer unix.Close(fdDirect)

    // 打开普通模式的文件句柄（用于剩余小数据写入）
    fdNormal, err := unix.Open(path, unix.O_RDWR|unix.O_APPEND, 0666)
    if err != nil {
        panic(err)
    }
    defer unix.Close(fdNormal)

    alignedBuf := allocAlignedBuf(blockSize)
    defer unix.Free(unsafe.Pointer(&alignedBuf[0]))

    // 内存缓存区，用于积累小数据
    var cache []byte
    // 模拟多次小数据写入
    dataChunks := [][]byte{
        []byte("Hello "),
        []byte("world\n"),
        []byte("This is a "),
        []byte("test message from small chunks."),
    }

    for _, chunk := range dataChunks {
        cache = append(cache, chunk...)
        // 缓存达到块大小，执行O_DIRECT写入
        for len(cache) >= blockSize {
            copy(alignedBuf, cache[:blockSize])
            _, err := unix.Write(fdDirect, alignedBuf)
            if err != nil {
                panic(err)
            }
            cache = cache[blockSize:]
        }
    }

    // 写入剩余不足一块的缓存数据（用普通写入，无空字符）
    if len(cache) > 0 {
        _, err := unix.Write(fdNormal, cache)
        if err != nil {
            panic(err)
        }
    }
}

2. 混合写入策略 #

• 当写入数据量≥块大小时，使用O_DIRECT写入，保证性能
• 当写入数据量<块大小时，直接使用普通写入（去掉O_DIRECT标志），避免空字符填充

这种方式兼顾了大块数据的O_DIRECT性能优势，又解决了小数据的空字符问题，不需要后续截断操作。

3. 对齐到SSD物理块大小（优化辅助） #

注意：很多时候我们用的512是逻辑块大小，SSD的物理块通常是4KB/8KB甚至更大。可以通过以下命令获取真实物理块大小：

blockdev --getpbsz /dev/your-ssd-device

将写入对齐到物理块大小，能减少不必要的写入次数，降低SSD损耗，但无法直接解决小数据的空字符问题，需配合上述方案使用。

为什么要避免ftruncate？ #

ftruncate不仅会让文件系统更新元数据，还会触发SSD的块擦除与重写操作——SSD的写入是按物理块原子进行的，截断操作会增加写入放大系数，加速SSD寿命损耗。

内容的提问来源于stack exchange，提问作者Mascarpone