如何在加载PyArrow表时对map类型列实现预加载过滤？

问题背景 #

有DeltaLake/Parquet格式的文件，其中一列是map类型，以"property_name":"property_value"格式存储行属性，需要对该map列的特定键值对进行过滤，且希望通过谓词下推在数据加载到内存前完成过滤。

错误原因分析 #

你之前的代码尝试用ds.field("Trial_Map", "Trial_Map", "key")访问map的key和value，这种方式是错误的——Arrow中的map类型不是struct结构，不能直接通过字段路径访问key/value，必须使用Arrow提供的专门map操作函数，因此触发了ArrowNotImplementedError。

解决方案 #

方法1：使用Arrow Dataset的map_lookup实现谓词下推 #

map_lookup是Arrow专为map类型设计的函数，可直接获取指定key对应的value，且该操作支持谓词下推，会在Parquet读取阶段完成过滤：

import pyarrow.parquet as pq
import pyarrow.dataset as ds

# 构建过滤条件：Trial_Map中key为"a"的value等于"a1"
condition = ds.field("Trial_Map").map_lookup("a") == "a1"

# 读取时应用过滤条件
table = pq.read_table("example.parquet", filters=condition)
print(table.to_pandas())

运行结果会返回符合条件的行：

Name               Trial_Map
0  Name1  {'a': 'a1', 'b': 'b1'}
1  Name3  {'a': 'a1', 'b': 'b3'}

方法2：复杂过滤场景（含key存在性检查） #

如果需要先确认map中存在目标key，再判断value，可以结合map_has_key函数：

import pyarrow.dataset as ds
from pyarrow import compute as pc

# 加载Parquet数据集
dataset = ds.dataset("example.parquet", format="parquet")

# 构建过滤条件：存在key"a"且对应value为"a1"
filter_expr = pc.and_(
    pc.map_has_key(ds.field("Trial_Map"), "a"),
    pc.map_lookup(ds.field("Trial_Map"), "a") == "a1"
)

# 执行过滤并读取结果
table = dataset.to_table(filter=filter_expr)
print(table.to_pandas())

方法3：针对DeltaLake的PySpark实现 #

如果使用DeltaLake，PySpark支持直接通过col["key"]语法访问map值，且自动支持谓词下推：

from pyspark.sql import SparkSession

# 初始化SparkSession（需提前配置DeltaLake依赖）
spark = SparkSession.builder \
    .appName("DeltaMapFilter") \
    .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
    .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog") \
    .getOrCreate()

# 读取Delta表
delta_df = spark.read.format("delta").load("/path/to/your/delta_table")

# 过滤map列的指定键值对
filtered_df = delta_df.filter(delta_df.Trial_Map["a"] == "a1")
filtered_df.show()

关键说明 #

• 所有上述方法均支持谓词下推，过滤逻辑会在Parquet/DeltaLake文件读取阶段执行，无需将全量数据加载到内存，提升处理效率。
• 避免将map类型当作struct处理，必须使用Arrow或Spark提供的map专属操作函数/语法。

内容的提问来源于stack exchange，提问作者Rohith Paul