使用Pandas从Azure Blob存储读取分段Parquet文件夹报错的解决方法

问题原因 #

你遇到的ArrowInvalid错误，核心原因是分段式Parquet文件夹是多个Parquet文件的集合，而非单个可直接读取的文件：

• Azure Blob存储中的“文件夹”是虚拟概念，本身没有实际数据内容，当你传入文件夹名作为blobname调用download_blob时，下载得到的是空字节流，导致BytesIO大小为0，触发Arrow的读取错误。
• 本地读取时你是直接指向文件夹路径，Pandas会自动遍历文件夹内的所有Parquet文件合并，但通过BytesIO传递单个空流时，无法触发这个逻辑。

解决方案 #

方案一：遍历文件夹下的所有Parquet文件，逐个读取合并 #

先修正原函数的参数错误（原函数参数container和内部变量container_name不匹配），再新增批量读取逻辑：

from io import BytesIO
import pandas as pd
from azure.storage.blob import BlobServiceClient

def read_single_blob(blob_client):
    """读取单个Parquet Blob"""
    bytes_io = BytesIO(blob_client.download_blob().readall())
    return pd.read_parquet(bytes_io, engine='pyarrow')

def read_parquet_folder(conn_str, container_name, folder_path):
    """读取Azure Blob中文件夹下的所有分段Parquet文件"""
    # 初始化Blob客户端
    blob_service_client = BlobServiceClient.from_connection_string(conn_str)
    container_client = blob_service_client.get_container_client(container=container_name)
    
    # 过滤出文件夹下所有.parquet文件（排除虚拟文件夹和非目标文件）
    # 注意：folder_path要以'/'结尾，避免匹配到同名前缀的文件
    if not folder_path.endswith('/'):
        folder_path += '/'
    blob_list = [blob for blob in container_client.list_blobs(name_starts_with=folder_path) 
                 if blob.name.endswith('.parquet')]
    
    # 逐个读取并合并DataFrame
    df_list = [read_single_blob(container_client.get_blob_client(blob)) for blob in blob_list]
    return pd.concat(df_list, ignore_index=True)

方案二：使用fsspec+adlfs直接挂载Blob存储（推荐） #

这种方法无需手动处理Blob下载，让Pandas直接识别Blob存储的文件夹路径，自动读取所有分段文件，代码更简洁高效：

1. 先安装依赖：

pip install fsspec adlfs

2. 编写读取函数：

import pandas as pd

def read_parquet_folder(conn_str, container_name, folder_path):
    # 配置Blob存储连接参数
    storage_options = {'connection_string': conn_str}
    # 使用abfs协议直接读取文件夹路径
    df = pd.read_parquet(
        f"abfs://{container_name}/{folder_path}",
        engine='pyarrow',
        storage_options=storage_options
    )
    return df

方案对比 #

• 方案一：适合需要对单个Parquet文件做自定义处理（比如过滤、校验）的场景，灵活性高，但性能略低（需逐个下载合并）。
• 方案二：代码简洁，性能更优（底层会并行读取文件），是大多数场景的首选。

内容的提问来源于stack exchange，提问作者euh