如何从Azure函数访问Azure Blob中大型矩阵的指定行？

我在Azure Blob存储中存放了一个8GB的余弦相似度矩阵（DataFrame/numpy数组），希望从Azure Function中仅访问指定索引的行，无需将整个文件加载到内存。在本地（Google Colab）环境中，我通过以下两种方式成功实现：

1. 使用h5py：

with h5py.File('pathtofile', 'r') as f:
    product_index = 9  
    product_similarities = f['cosine_similarity'][product_index, :]

2. 使用numpy内存映射：

cosine_sim_matrix = np.load('pathtofile', mmap_mode='r')
product_index = 9
product_similarities = cosine_sim_matrix[product_index, :]

但在Azure环境中尝试时，所有方法都会将整个Blob加载到内存，导致Azure Function响应极慢。请问这是否可行？若可行，有哪些解决思路？

这完全可行，核心是让Azure Blob支持随机访问，而非默认的全量流式加载，具体思路如下：

• 将Blob挂载为本地文件系统（推荐）
  使用Azure Blob FUSE把Blob存储挂载到Azure Function的容器文件系统，这样h5py或numpy内存映射就能像访问本地文件一样直接做随机读取，无需全量加载。部署时需在应用设置中配置Blob连接字符串，通过启动脚本完成挂载，原有代码无需大幅修改。

• 手动利用Blob范围读取API实现随机访问
  借助Azure Storage SDK的范围读取功能，先计算目标行对应的字节偏移量：

  • 对于numpy数组：提前算出每行字节大小（比如float64类型为列数*8字节），计算目标行的起始偏移量后，调用download_blob时指定offset和length参数，读取后转成numpy数组即可。
  • 对于HDF5文件：先读取文件元数据解析出目标行所在的字节范围，再通过范围读取获取对应数据块。

• 预处理矩阵为按行拆分的独立文件
  提前把8GB矩阵按行拆分，每行存为一个小文件（比如row_0.npy、row_1.npy），Azure Function需要访问某行时直接下载对应小文件，完全避免加载大文件。这种方式实现最简单，但需要额外的预处理和存储管理。

• 使用Azure Data Lake Storage Gen2 + 分区存储
  若改用ADLS Gen2，可将矩阵按行分区存储，利用其文件系统的随机访问能力，配合h5py或Pandas的分区读取功能，实现高效行级访问。

内容的提问来源于stack exchange，提问作者JLd