使用rasterio.open()读取S3上带变量的NetCDF文件遇解析错误

问题根源 #

你使用的netcdf:/s3://*/*/file.nc:variable格式不符合GDAL（Rasterio底层依赖）的NETCDF驱动解析规则。驱动期望的格式是NETCDF:<文件路径>:<变量名>，直接把s3://放在netcdf:/后面会导致路径分割时字段数量不匹配，触发解析错误。

正确解决方案 #

方案1：使用GDAL VSI虚拟文件系统路径 #

将S3路径转换为GDAL的/vsis3/格式，结合NETCDF驱动语法：

import rasterio

# 替换bucket和path为实际的S3存储桶和文件路径
my_path = "NETCDF:/vsis3/bucket/path/to/file.nc:target_variable"
with rasterio.open(my_path) as src:
    # 后续操作示例：读取第一波段数据
    data = src.read(1)

方案2：通过Rasterio AWS会话配置直接使用s3://路径 #

先配置AWS会话环境，让Rasterio能正确处理S3路径，再使用标准NETCDF语法：

import rasterio
from rasterio.session import AWSSession

# 配置AWS会话（自动读取本地AWS凭证或环境变量）
with rasterio.Env(AWSSession()):
    my_path = "NETCDF:s3://bucket/path/to/file.nc:target_variable"
    with rasterio.open(my_path) as src:
        data = src.read(1)

关键注意事项 #

• 确认GDAL版本支持S3和NETCDF驱动：可通过gdal-config --formats命令查看输出中是否包含S3和NETCDF。
• 验证AWS权限：运行代码的环境需要有访问目标S3存储桶的权限，可通过环境变量AWS_ACCESS_KEY_ID/AWS_SECRET_ACCESS_KEY或~/.aws/credentials文件配置。
• 测试时可先省略变量名（仅NETCDF:/vsis3/...或NETCDF:s3://...），确认能正常打开文件后再添加变量后缀。

内容的提问来源于stack exchange，提问作者Hugoz13