Azure Blob存储中HDF5文件覆写时流量与容量计费异常问题咨询

• Azure Blob是对象存储，原生不支持随机修改：任何对已有Blob对象的局部修改、覆写操作，底层都需要先将完整的旧对象下载到客户端（产生出口流量），修改完成后再将完整的新对象上传（产生入口流量），两次操作的流量都会被正常统计计费。观测到的容量超额计费并非按入口流量统计，是因为Blob存储默认开启了软删除/版本控制功能，覆写操作会生成新的对象版本，同时保留旧版本，512MB是新旧两个256MB版本的总存储占用。
• HDF5与其他格式的IO逻辑差异：PyTables库以mode="w"覆写已有H5文件时，HDF5底层会先读取原有文件的元数据、校验文件锁后再执行覆写，这个读取操作触发了blobfuse的全量下载逻辑；而CSV、pickle文件的覆写是直接截断原有文件、写入全新内容，blobfuse会判定为直接创建新对象覆盖旧对象，不需要提前下载旧文件，因此没有额外流量。
• 先删除旧文件再写入的操作，会直接生成全新的Blob对象，不会触发旧文件读取流程，因此流量符合预期。

• 调整HDF5写入逻辑：全量覆写场景下，不要直接打开Blob挂载路径下的已有H5文件执行覆写。可以先在VM本地磁盘生成完整的H5文件，校验无误后，要么先删除Blob上的旧文件再上传新文件，要么直接调用Azure存储SDK的上传接口强制覆盖，绕开HDF5库的预读逻辑。测试脚本可以修改为先生成到本地临时目录，写完后再移动到blobfuse挂载路径即可避免额外流量。
• 调整blobfuse挂载参数：挂载时添加--direct-io=on、--file-cache-timeout=0参数，关闭blobfuse的预读缓存机制，避免触发不必要的全量文件下载。
• 优化存储计费配置：如果不需要数据回溯、恢复能力，可以关闭Blob存储的软删除、版本控制功能，覆写后旧版本会被直接清理，不会产生额外容量计费。如果必须保留版本功能，可以配置生命周期规则，自动清理超过指定时长的历史版本。
• 更换适配的存储产品：如果业务场景需要频繁修改H5文件，建议改用支持随机写入的Azure Files文件存储挂载到VM，不需要全量下载上传即可修改文件内容，可大幅降低流量和容量开销。

import tables
import numpy as np

db = 'test.h5'

class TestTable(tables.IsDescription):
    col0 = tables.Float64Col(pos=0)
    col1 = tables.Float64Col(pos=1)
    col2 = tables.Float64Col(pos=2)
    col3 = tables.Float64Col(pos=3)

data = np.zeros((1024*1024, 4))
tablenames = ['Test'+str(i) for i in range(8)]

mdb = tables.open_file(db, mode="w")
# Create tables
for name in tablenames:
    mdb.create_table('/', name, TestTable)
    table = eval('mdb.root.'+name)
    table.append(list(map(tuple, data)))
    table.flush()
mdb.close()

内容的提问来源于stack exchange，提问作者Katie He