Python中Azure Blob分段下载偏移量使用异常问题咨询

核心原因 #

Azure Blob的download_blob方法中，offset和length参数接收的是字节数，而非字符数。如果你的换行符位置是按字符串的字符索引计算的，而Blob内容采用UTF-8等多字节编码，就会导致偏移位置错误，截取到上一行的末尾片段，出现多余的"} "前缀。

具体解决办法 #

1. 基于字节流定位换行符（手动分段场景） #

如果你必须手动分段下载，务必基于字节数据查找换行符的位置，确保偏移量是字节数：

import json
from azure.storage.blob import BlobClient

blob_client = BlobClient.from_connection_string(
    conn_str="你的连接字符串",
    container_name="容器名",
    blob_name="Blob文件名"
)

# 第一次分段下载
chunk_size = 4096  # 自定义分段大小
first_chunk = blob_client.download_blob(offset=0, length=chunk_size).readall()

# 查找最后一个换行符的字节位置
last_newline_byte_pos = first_chunk.rfind(b'\n')
if last_newline_byte_pos != -1:
    # 下一次的起始偏移：跳过当前最后一个换行符，从下一行开始
    next_offset = last_newline_byte_pos + 1

    # 第二次分段下载
    second_chunk = blob_client.download_blob(offset=next_offset, length=chunk_size).readall()
    # 解析第二块的JSON行
    for line in second_chunk.decode('utf-8').splitlines():
        if line.strip():
            json_data = json.loads(line)
            # 处理你的数据
            print(json_data)

2. 直接按行读取（推荐，无需手动分段） #

如果不需要严格控制分段大小，直接通过流按行读取是最省心的方式，自动处理换行和偏移：

import json
from azure.storage.blob import BlobClient

blob_client = BlobClient.from_connection_string(
    conn_str="你的连接字符串",
    container_name="容器名",
    blob_name="Blob文件名"
)

with blob_client.download_blob() as stream:
    for line_bytes in stream:
        # 转成字符串并去除首尾空白（包括换行符）
        line_str = line_bytes.decode('utf-8').strip()
        if line_str:
            json_data = json.loads(line_str)
            # 处理数据
            print(json_data)

3. 验证编码一致性 #

确保你解析时使用的编码和Blob内容的编码一致（通常是UTF-8），如果Blob是其他编码（如GBK），解码时要指定对应的编码，避免因编码错误导致的字节/字符错位。

内容的提问来源于stack exchange，提问作者Comp_sc_student