Python Polars列表过滤空值、去空格性能优化求助

直接用Polars原生的列表操作组合，完全避开Python自定义函数的开销，这是最快的处理方式：

import polars as pl

df_main = pl.DataFrame({
    "ColumnList": [
        ['a ' , 'b' , '' ,' c',  'd'  ],
        ['a ' ,  '' ,' b', '' ,  'd'  ],
        ['a ' ,' b' , '' ,' c',  'd'  ],
        ['a ' , 'b' ,' b', '' , ' d ' ],]
})

# 最优处理代码
df_processed = df_main.with_columns(
    pl.col("ColumnList")
    .list.eval(pl.element().str.strip())  # 对列表每个元素去首尾空格
    .list.filter(pl.element() != "")      # 过滤掉空字符串
)

print(df_processed)

为什么这个方法更快？ #

• 原生向量化操作：所有逻辑都在Polars的Rust底层执行，没有Python函数调用的额外开销（比如map_elements每次调用自定义函数都会触发GIL锁，还有Rust与Python之间的数据拷贝成本）。
• 合并逻辑减少遍历：先统一处理所有元素的去空格，再一次性过滤空值，比分开两次独立的list.eval少一次列表遍历，进一步压缩耗时。

对比你之前的方案 #

• map_elements+自定义函数：Python UDF的开销是核心瓶颈，Polars对Python函数的调用效率远低于原生操作，因此耗时会大幅飙升。
• 两次独立的list.eval：虽然是原生操作，但两次遍历列表会增加额外计算成本，合并成“先strip再过滤”的逻辑能减少一半的列表遍历次数。

额外优化：单步完成strip+过滤 #

你也可以在一次list.eval里完成两个逻辑，彻底避免两次列表遍历，性能会更进一步：

df_processed = df_main.with_columns(
    pl.col("ColumnList")
    .list.eval(
        pl.when(pl.element().str.strip() != "")
        .then(pl.element().str.strip())
    )
    .list.drop_nulls()  # 过滤掉when条件不满足时生成的null值
)

这个版本仅遍历列表一次，先判断strip后的元素是否非空，只保留有效内容，最后清理生成的null值，性能比两步操作略优。

内容的提问来源于stack exchange，提问作者Mustafa Elec