如何提升从Amazon S3提取HDF5子集数据的下载速度？

背景 #

从NREL公开的Amazon S3存储桶提取总大小1.4TB的HDF5格式数据，当前使用h5py+fsspec的代码可正常运行，但在100MB/s带宽环境下，下载速度仅1500-1600KB/s，远低于带宽上限，需优化提取效率。

以下是具体优化方案：

1. 优化S3文件系统连接配置 #

默认fsspec的S3客户端连接池较小，改用s3fs直接初始化高并发连接池，提升请求处理能力：

import s3fs
import h5py
import pandas as pd
import numpy as np

bounds = [-130.1229448, 20.1788443, -60.8598418, 52.8170218]
# 初始化带高并发连接的S3文件系统
fs = s3fs.S3FileSystem(anon=True, client_kwargs={'max_pool_connections': 30})
with h5py.File(fs.open('nrel-pds-nsrdb/v3/nsrdb_2019.h5', 'rb'), 'r') as awsfile:
    datatype = 'clearsky_ghi'
    dataset = awsfile[datatype]
    meta = pd.DataFrame(awsfile['meta'][...])
    times = pd.to_datetime(awsfile['time_index'][...].astype(str))
    duologic = np.logical_and.reduce((times.month == 12, times.day == 1, times.minute == 0))
    timeindex = list(np.where(duologic)[0])
    continent = meta[(meta['longitude'] >= bounds[0]) & (meta['longitude'] <= bounds[2]) & 
                     (meta['latitude'] >= bounds[1]) & (meta['latitude'] <= bounds[3])]
    # 使用多维索引减少随机IO
    data = dataset[timeindex, continent.index]

2. 优化HDF5索引方式，减少随机读取 #

原代码中dataset[timeindex][continent.index]会先读取时间切片再做地理筛选，产生大量随机IO。改用多维直接索引，让HDF5一次性定位连续的数据块：

# 替换原数据提取行
data = dataset[timeindex, continent.index]

若数据集存储顺序为地理维度优先，这种方式能大幅减少S3的分段请求次数，提升读取效率。

3. 启用fsspec本地缓存 #

将频繁访问的元数据或重复读取的小数据块缓存到本地，避免重复请求S3：

awsurl = 'https://nrel-pds-nsrdb.s3.amazonaws.com/v3/nsrdb_2019.h5'
with h5py.File(fsspec.open(awsurl, "rb", cache_type='local', cache_storage='/tmp/fsspec_cache').open(), "r") as awsfile:
    # 后续逻辑不变

缓存路径可根据磁盘空间调整，建议使用SSD存储缓存。

4. 并行化数据提取 #

利用S3的并发请求特性，将地理范围拆分为多个子任务并行读取。推荐使用dask简化并行处理：

import dask.array as da
from dask.distributed import Client
import s3fs
import h5py
import pandas as pd
import numpy as np

bounds = [-130.1229448, 20.1788443, -60.8598418, 52.8170218]
# 启动本地分布式集群
client = Client()
fs = s3fs.S3FileSystem(anon=True)

with h5py.File(fs.open('nrel-pds-nsrdb/v3/nsrdb_2019.h5', 'rb'), 'r') as awsfile:
    datatype = 'clearsky_ghi'
    meta = pd.DataFrame(awsfile['meta'][...])
    times = pd.to_datetime(awsfile['time_index'][...].astype(str))
    duologic = np.logical_and.reduce((times.month == 12, times.day == 1, times.minute == 0))
    timeindex = list(np.where(duologic)[0])
    continent = meta[(meta['longitude'] >= bounds[0]) & (meta['longitude'] <= bounds[2]) & 
                     (meta['latitude'] >= bounds[1]) & (meta['latitude'] <= bounds[3])]
    # 以dask数组形式加载数据集，设置合理分块
    dset = da.from_array(awsfile[datatype], chunks=(24, 1000))
    data = dset[timeindex, continent.index].compute()

dask会自动拆分任务并分配到多个进程执行，充分利用带宽。

5. 调整系统网络参数 #

Ubuntu默认TCP参数可能限制高速下载，临时调整网络参数提升TCP窗口大小：

sudo sysctl -w net.ipv4.tcp_window_scaling=1
sudo sysctl -w net.core.rmem_max=16777216
sudo sysctl -w net.core.wmem_max=16777216

若需永久生效，将上述参数写入/etc/sysctl.conf文件后执行sudo sysctl -p。

6. 检查HDF5数据集分块布局 #

通过dataset.chunks查看数据集的分块大小，若分块过小会导致大量小请求，降低S3处理效率。如果存在分块更合理的数据集版本，优先选择该版本提取数据。

内容的提问来源于stack exchange，提问作者TornadoEric