如何避免嵌入式Linux重启中断记录时CSV文件出现NULL字符

断电后CSV文件末尾出现NULL字符，本质是写入操作中途中断或内核文件缓存未及时刷入磁盘导致的文件损坏。以下是几种可行的解决方法：

方法1：写入后强制刷盘 #

Python和Linux内核都会对文件写入做缓存，断电时缓存中的数据未落地就会导致文件末尾出现无效填充。通过flush()+os.fsync()强制将数据写入磁盘：

import os
import csv

with open(self.path, "a", encoding="UTF-8") as file:
    writer = csv.writer(file, delimiter=CSV_DELIMITER)
    values = ...  # 你的数据处理逻辑
    writer.writerow(values)
    
    # 刷新Python级别的输出缓存到操作系统
    file.flush()
    # 强制内核将数据写入磁盘硬件
    os.fsync(file.fileno())

flush()负责把Python缓冲区的内容传递给操作系统，os.fsync()则要求操作系统立刻将数据写入物理存储，避免缓存数据丢失或损坏。

方法2：原子写入（最可靠） #

先将数据写入临时文件，确认写入完成后，用原子操作替换目标CSV文件。这样即使断电，要么临时文件不完整（会被丢弃），要么目标文件是完整的：

import os
import csv
import tempfile
from pathlib import Path

target_path = Path(self.path)
# 在目标文件同一目录创建临时文件，避免跨分区导致原子操作失效
with tempfile.NamedTemporaryFile(mode='w', encoding='UTF-8', dir=target_path.parent, delete=False) as tmp_file:
    writer = csv.writer(tmp_file, delimiter=CSV_DELIMITER)
    values = ...  # 你的数据处理逻辑
    writer.writerow(values)
    
    tmp_file.flush()
    os.fsync(tmp_file.fileno())

# 原子替换目标文件，Unix-like系统下该操作不可中断
os.replace(tmp_file.name, target_path)

这种方法能完全避免文件损坏的情况，推荐在嵌入式系统中优先使用。

方法3：绕过内核缓存（谨慎使用） #

使用O_DIRECT标志打开文件，绕过内核缓存直接写入磁盘，但需要满足存储设备的对齐要求（比如写入大小必须是4KB的整数倍），实现起来较复杂：

import os
import csv
from io import StringIO
from os import O_WRONLY, O_APPEND, O_CREAT, O_DIRECT

# O_DIRECT要求二进制模式打开，需手动处理编码和对齐
with open(self.path, "ab", flags=O_WRONLY | O_APPEND | O_CREAT | O_DIRECT) as file:
    # 先用StringIO构造CSV行，再编码为字节
    sio = StringIO()
    writer = csv.writer(sio, delimiter=CSV_DELIMITER)
    values = ...  # 你的数据处理逻辑
    writer.writerow(values)
    
    line_bytes = sio.getvalue().encode('UTF-8')
    # 计算对齐所需的填充字节（假设设备对齐大小为4KB）
    align_size = 4096
    padding = b'\0' * (align_size - len(line_bytes) % align_size) if len(line_bytes) % align_size != 0 else b''
    
    file.write(line_bytes + padding)
    os.fsync(file.fileno())

此方法适合对数据一致性要求极高但可接受复杂实现的场景，需注意不同存储设备的对齐规则可能不同。

注意事项 #

• 频繁刷盘会加速嵌入式系统闪存的磨损，建议根据业务需求调整刷盘频率（比如积累N行数据后统一刷盘）。
• 原子写入时，临时文件必须和目标文件在同一分区，否则os.replace()无法保证原子性。

内容的提问来源于stack exchange，提问作者François Vinckel