如何写入只读模式的Pandas HDF5文件？如何避免文件只读？

我来帮你拆解这个问题，结合你的代码和报错堆栈来看，核心问题大概率和多进程文件锁定或者系统权限有关，分两部分解答你的疑问：

一、如何给只读HDF5文件追加数据？ #

首先得区分是文件系统层面的只读权限，还是HDF5内部的锁定/状态异常，对应不同的解决方案：

1. 先检查并修复文件系统权限 #

这是最容易被忽略的点！有时候文件的系统权限会被意外修改（比如系统自动设置、其他程序修改）：

• Linux/macOS：打开终端，进入文件所在目录，执行ls -l your_file.h5，看权限列（比如-rw-r--r--）里，当前用户对应的位置有没有w（写权限）。如果没有，执行chmod u+w your_file.h5给当前用户加写权限。
• Windows：右键HDF5文件 → 属性 → 取消“只读”勾选 → 点击应用。

2. 复制重建文件（规避内部状态异常） #

如果权限没问题，但还是无法写入，可能是HDF5文件内部状态被异常标记为只读。这时候可以先把数据导出到新文件：

# 读取原只读文件的数据
df = pd.read_hdf("readonly_file.h5", key="observers")
# 创建新的可写HDF5文件并写入数据
with pd.HDFStore("new_writable_file.h5", mode="w") as hdf:
    hdf.append(key="observers", value=df, format="table", data_columns=True)

之后直接对新文件进行追加操作即可，原文件可以备份后删除。

3. 显式指定写入模式打开 #

尝试在打开HDFStore时明确指定mode="a"（追加模式，保留原有数据），强制以可写方式打开：

with pd.HDFStore("your_file.h5", mode="a") as hdf:
    hdf.append(key='observers', value=df, format='table', data_columns=True)

注意：如果文件被系统锁定（比如其他进程占用），这个方法还是会报错，所以优先检查权限和锁文件。

二、Pandas会默认把HDF5设为只读吗？怎么从根源避免？ #

Pandas本身不会默认将HDF5文件设置为只读模式，但有几个场景会导致文件被强制以只读方式打开，甚至后续无法写入：

1. 多进程场景下的文件句柄泄漏/锁定 #

看你的代码里用到了multiprocessing.Pool.map，这是高危场景！如果子进程中打开HDF5文件后异常退出，或者没有正确释放文件句柄，会导致文件被锁定，后续进程只能以只读方式访问。

• 解决方法：
  • 子进程内的文件操作，尽量用with pd.HDFStore(...) as hdf:的上下文管理器，确保文件一定会被正确关闭，哪怕发生异常：

    # 把原来的pd.read_hdf改成上下文管理器方式
    with pd.HDFStore(folder + the_file, mode="r") as hdf:
        temp_df = hdf.select(key="observers")
    

  • 绝对不要让多个进程同时对同一个HDF5文件进行读写操作！HDF5对多进程写入的支持很差，很容易导致文件损坏或锁定。

2. 残留的HDF5锁文件 #

PyTables（Pandas依赖的HDF5底层库）在打开文件时会生成一个.your_file.h5.lock的锁文件，如果进程异常崩溃，这个锁文件不会自动删除，会导致后续打开文件时被强制设为只读。

• 解决方法：检查HDF5文件所在目录，找到对应的.lock文件并手动删除，再尝试打开文件。

3. pd.read_hdf的默认模式 #

pd.read_hdf默认是以只读模式打开文件，但正常情况下读取完成后会自动关闭文件，不会改变文件的权限或状态。只有读取过程中进程崩溃，才会导致文件锁定。

结合你的报错分析 #

从报错堆栈来看，问题出在PyTables尝试修改文件属性时被提示不可写，结合你用了多进程，最大的可能是子进程没有正确关闭HDF5文件，导致文件被锁定，或者残留了锁文件。建议按以下顺序排查：

1. 删除文件目录下的.lock文件
2. 检查并修复文件的系统写权限
3. 修改多进程中的文件读取代码，用上下文管理器确保文件正确关闭

内容的提问来源于stack exchange，提问作者joaoavf