如何通过PyArrow实现Azure Data Lake的Parquet切片下推高效取数？

我需要访问Azure Data Lake上的Parquet文件，仅获取部分行。以下是使用公开数据集的可复现代码示例：

import pyarrow.dataset as ds
from adlfs import AzureBlobFileSystem

abfs_public = AzureBlobFileSystem(
    account_name="azureopendatastorage")

dataset_public = ds.dataset('az://nyctlc/yellow/puYear=2010/puMonth=1/part-00000-tid-8898858832658823408-a1de80bd-eed3-4d11-b9d4-fa74bfbd47bc-426339-18.c000.snappy.parquet', filesystem=abfs_public)

但测试发现，获取5行与获取全量数据集的处理时间几乎相同：

dataset_public.to_table()
# 5min 30s

dataset_public.head(5)
# 5min 11s

dataset_public.scanner().head(5)
# 5min 43s

请问是否可通过PyArrow实现切片下推？同时我不清楚dataset.head()与dataset.scanner().head()之间的差异。

一、切片下推的实现方式 #

PyArrow支持Parquet文件的行级下推，但当前场景下未生效的核心原因是你使用的是单个大Parquet文件，而非分块存储的数据集。

Parquet文件的元数据仅包含文件级统计信息（如总行数、列极值），没有按行组划分的偏移索引。请求前N行时，PyArrow必须先下载整个文件的行组数据才能提取目标行，因此耗时与全量读取几乎一致。

要实现高效的切片下推，需满足两个条件：

• 数据集拆分为多个小Parquet文件（或按分区存储）
• 使用Scanner显式指定limit参数，示例代码：

# 显式设置limit实现下推
scanner = dataset_public.scanner(limit=5)
result = scanner.to_table()

针对多文件数据集，Scanner会遍历文件，取够指定行数后立即停止，大幅减少数据传输量；但单个大文件场景下，仍无法避免下载完整行组数据，建议提前拆分大文件。

此外，确保PyArrow和ADLFS为最新版本，旧版本可能存在云存储下推的兼容性问题。

二、两种head方法的差异 #

1. 执行逻辑

   • dataset.head(n)：内部自动创建带limit=n的Scanner，直接读取前n行，是Scanner的简化调用。
   • dataset.scanner().head(n)：先创建无限制的Scanner实例（默认扫描全量数据），再截断取前n行，相当于先扫描全量再过滤，因此效率更低（这也是你测试中该方法耗时更长的原因）。

2. 灵活性

   • dataset.head()仅能指定行数，无法添加过滤条件、列选择等额外逻辑。
   • dataset.scanner()可先配置过滤规则、列投影、分区下推等，再调用head()或to_table()，灵活性更高。

内容的提问来源于stack exchange，提问作者Luca