如何在HDF5文件数据采集写入完全完成后再对其执行读取操作

你目前用尝试以只读模式打开HDF5文件的思路是可靠性最高的，不用依赖文件大小、结束标识这类容易出现边界异常的判断逻辑，只要h5py.File能正常以只读模式打开没有抛出OSError，就说明文件写入已经完成、结构完整。

现有代码优化建议 #

你贴出的代码存在一个逻辑错误：h5py.File(self.callback(file), 'r') 处错误传入了回调函数的返回值作为路径，需要先校验文件本身，校验通过后再调用回调。同时可以把轮询间隔从3秒缩短到0.5_1秒，1020MB的文件写入完成后锁释放很快，缩短间隔能进一步降低等待耗时，只要累计等待上限保持30秒就不会出问题。优化后代码如下：

import time
import pathlib
from typing import Callable, Union
from watchdog.events import FileSystemEventHandler, DirCreatedEvent, FileCreatedEvent
import h5py

class CustomHandler(FileSystemEventHandler):    
    def __init__(self, callback: Callable):
        self.callback = callback
        # 单次轮询间隔，单位秒
        self.wait_interval = 1
        # 最大等待时长，单位秒
        self.max_wait = 30

    def on_created(self, event: Union[DirCreatedEvent, FileCreatedEvent]):
        # 过滤目录创建事件
        if not isinstance(event, FileCreatedEvent):
            return
        file_path = pathlib.Path(event.src_path)
        # 仅处理h5/hdf5后缀的文件，避免其他文件触发逻辑
        if file_path.suffix.lower() not in ('.h5', '.hdf5'):
            return
        
        waited = 0
        while waited < self.max_wait:
            try:
                # 尝试打开文件判断是否写入完成
                with h5py.File(file_path, 'r') as f:
                    # 可选：增加业务层校验，比如判断预期的数据集是否存在，进一步降低出错概率
                    # if 'your_expected_dataset' in f:
                    # 校验通过调用回调
                    self.callback(file_path)
                    return
            except (FileNotFoundError, OSError):
                time.sleep(self.wait_interval)
                waited += self.wait_interval
        
        print(f"文件 {file_path.name} 等待{self.max_wait}秒仍未就绪，跳过处理")
        return None

其他方案说明 #

• 文件大小比对方案：实现简单，但存在边界问题，比如写入过程中如果出现短暂的IO暂停，大小暂时没有变化就会误判为写入完成，可靠性不足。
• 末尾标识检测方案：HDF5文件确实有固定的文件尾签名（为\x89HDF\r\n\x1a\n），但如果写入程序是按块写入，刚好写完文件尾但前面的块还没写完的极端场景下，还是会出现误判，而且需要自己处理文件读取、偏移量判断的逻辑，比直接用h5py打开的方案复杂很多。
• 写入端打标记方案（优先选择，如果能修改写入逻辑）：如果可以调整写HDF5文件的程序逻辑，可以在写完HDF5文件后，在同目录下生成一个和HDF5文件同名的空标记文件（比如xxx.h5.ready），监听端只需要判断对应标记文件是否存在即可，不用轮询HDF5文件本身，耗时更短、可靠性更高。

内容的提问来源于stack exchange，提问作者mikanim