替代Polars中map_elements(lambda)实现值映射的高效表达式方案

针对你的需求，推荐两种向量化的Polars表达式方案，相比map_elements的逐行lambda调用，它们能充分利用Polars的批量处理能力，大幅提升性能，尤其是在数据量较大时：

方案一：列表索引向量化实现 #

适合你的场景（a列数值是连续的1-4，对应列表的0-3索引），直接通过Polars的列表索引操作完成映射：

import polars as pl

data1 = {"a": [1, 2, 3, 4], "b1": [11, 12, 13, 14], "c1" : [31, 32, 33, 34]}
df1_pl = pl.DataFrame(data1)
weekday = ['Monday', 'Tuesday', 'Wednesday', 'Thursday']

# 向量化列表索引实现
result = df1_pl.with_columns(
    weekday=pl.lit(weekday).list.get(pl.col('a') - 1)
)
print(result)

原理说明 #

• pl.lit(weekday)将Python列表转为Polars的列表字面量，纳入Polars的向量化处理流程
• list.get(pl.col('a') - 1)对整个a列的数值批量做索引计算，不需要逐行调用lambda，完全在Polars底层引擎中执行，性能远高于map_elements

方案二：键值映射替换实现 #

如果后续a列的数值可能是非连续的离散值，推荐使用replace方法做键值映射：

import polars as pl

data1 = {"a": [1, 2, 3, 4], "b1": [11, 12, 13, 14], "c1" : [31, 32, 33, 34]}
df1_pl = pl.DataFrame(data1)
weekday_map = {1: 'Monday', 2: 'Tuesday', 3: 'Wednesday', 4: 'Thursday'}

# 键值映射实现
result = df1_pl.with_columns(
    weekday=pl.col('a').replace(weekday_map)
)
print(result)

原理说明 #

replace是Polars原生的向量化替换操作，直接对整列数据做批量替换，同样避免了逐行的Python函数调用开销，性能优于map_elements。

为什么map_elements效率低？ #

map_elements本质是将Python lambda函数逐行应用到每个元素，涉及Polars与Python解释器的频繁交互，当数据量达到万级甚至百万级时，这种行级操作的性能瓶颈会非常明显。而上述两种向量化方案完全在Polars的底层执行，没有额外的交互开销，能充分发挥Polars的性能优势。

内容的提问来源于stack exchange，提问作者Bappa