如何用Python读取Azure Blob Storage中超1GB地震数据（解决报错）

错误原因分析 #

报错UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc3 in position 0: invalid continuation byte，核心原因是：

• 地震数据属于二进制专业格式（比如SEGY、MSEED），并非UTF-8文本，直接用print(data)会强制将二进制流按文本解码，导致失败。
• 用readall()一次性读取1GB以上数据会瞬间占用大量内存，极易引发内存溢出问题。

解决方案 #

1. 核心原则 #

• 保留二进制格式处理数据，避免强制文本解码。
• 分块读取或直接下载到本地，降低内存占用压力。

具体实现代码 #

方式一：分块读取并写入本地文件

适合需要边读边处理，或内存有限的场景：

from azure.storage.blob import BlobServiceClient

# 替换为你的存储信息
STORAGEACCOUNTURL = "你的存储账户URL"
STORAGEACCOUNTKEY = "你的存储账户密钥"
CONTAINERNAME = "容器名称"
BLOBNAME = "地震数据Blob文件名"
LOCAL_SAVE_PATH = "本地保存路径/地震数据文件.segy"  # 对应你的数据格式后缀

# 初始化Blob客户端
blob_service_client = BlobServiceClient(account_url=STORAGEACCOUNTURL, credential=STORAGEACCOUNTKEY)
blob_client = blob_service_client.get_blob_client(CONTAINERNAME, BLOBNAME)

# 设置分块大小（可根据内存调整，示例为100MB）
chunk_size = 100 * 1024 * 1024

# 分块读取并写入本地
with open(LOCAL_SAVE_PATH, "wb") as local_file:
    with blob_client.download_blob() as stream:
        while True:
            chunk = stream.read(chunk_size)
            if not chunk:
                break
            local_file.write(chunk)

方式二：直接下载Blob到本地（推荐超大文件）

如果不需要内存中处理，直接下载到磁盘是最高效的方式：

from azure.storage.blob import BlobServiceClient

# 替换为你的存储信息
STORAGEACCOUNTURL = "你的存储账户URL"
STORAGEACCOUNTKEY = "你的存储账户密钥"
CONTAINERNAME = "容器名称"
BLOBNAME = "地震数据Blob文件名"
LOCAL_SAVE_PATH = "本地保存路径/地震数据文件.segy"

blob_service_client = BlobServiceClient(account_url=STORAGEACCOUNTURL, credential=STORAGEACCOUNTKEY)
blob_client = blob_service_client.get_blob_client(CONTAINERNAME, BLOBNAME)

# 直接下载到本地文件
with open(LOCAL_SAVE_PATH, "wb") as local_file:
    blob_data = blob_client.download_blob()
    blob_data.readinto(local_file)

# 用专业地震数据处理库解析（示例用obspy，需提前安装：pip install obspy）
from obspy import read
seismic_stream = read(LOCAL_SAVE_PATH)
print(seismic_stream)

注意事项 #

• 安装依赖：执行pip install azure-storage-blob obspy（obspy是通用地震数据处理库，若你用特定格式，可替换为对应库）。
• 分块大小可根据机器内存调整，内存不足时可设为50MB甚至更小。
• 确保本地磁盘有足够空间存储1GB以上的地震数据。

内容的提问来源于stack exchange，提问作者Gomathi