Python-polars：快速将DataFrame列表列多线程转换为集合/数组

• map_elements 本质是逐行执行Python自定义函数，默认单线程运行，受Python GIL锁限制无法利用多核，超大规模数据集下转换速度慢是必然结果；且其返回的object类型列脱离Polars原生执行引擎优化，后续计算也无法走向量化快速路径。
• Polars原生不支持Python set 类型作为标准列存储格式：所有Python原生对象（set、自定义类实例等）存入DataFrame时都会被标记为无类型的object列，这类列不享受Polars的多线程、内存优化、序列化兼容等特性。
• map_batches 的入参是整列Series对象，而非逐行元素，直接传入np.asarray只会把整个Polars List类型Series转换为存储Python列表对象的numpy object数组，并没有完成逐元素的类型转换。
• 提前将列表列转换为set列存储的思路本身不符合Polars的性能设计，会直接放弃所有引擎层的优化能力，属于不必要的性能损耗点。

方案1：原生Polars实现（性能最优，优先选择） #

你的核心需求是计算指定行与其余行的共有字符串，完全不需要在Python层提前转换set，Polars原生提供了列表集合运算API，全程在Rust层多线程执行，性能比Python层循环转换高1~2个数量级，且不存在序列化兼容问题。
参考实现代码：

# 1. 分组时提前对列表元素去重，避免重复值影响交集计算
df = df.lazy().group_by("ColA").agg(pl.col("ColB").unique()).collect()

# 2. 取出需要对比的第i行的元素列表，例如对比第0行
target_idx = 0
target_vals = df.get_column("ColB")[target_idx].to_list()

# 3. 原生API批量计算所有行与目标行的共有元素，自动多线程并行
result = df.with_columns(
    common_strings = pl.col("ColB").list.set_intersection(pl.lit(target_vals))
)

list.set_intersection是Polars原生实现的列表求交方法，内部自动完成哈希匹配、去重逻辑，无Python GIL锁限制，可占满所有CPU核心；计算结果为原生list[str]类型，可直接写入Parquet存储，加载速度比pickle快10倍以上。

方案2：多线程批量转换（仅适用于必须拿到set/numpy对象的场景） #

如果你的后续逻辑必须依赖Python set或者numpy数组对象，不要直接用单线程map_elements，可通过分片+线程池的方式实现并行转换：

import polars as pl
import numpy as np
from concurrent.futures import ThreadPoolExecutor

# 按Polars线程池大小拆分分片，平衡并行度和分片开销
shard_num = pl.thread_pool_size()
shards = df.partition_by("ColA", maintain_order=False)

def transform_shard(shard_df):
    # 单分片内做逐行转换
    return shard_df.with_columns(
        col_set = pl.col("ColB").map_elements(set, return_dtype=pl.Object),
        col_np = pl.col("ColB").map_elements(np.asarray, return_dtype=pl.Object)
    )

# 多线程并行处理所有分片后合并结果
with ThreadPoolExecutor(max_workers=shard_num) as pool:
    final_df = pl.concat(pool.map(transform_shard, shards))

注意：该方案输出的依然是object类型列，性能远低于原生API方案，且无法直接写入Parquet存储，非必要不使用。

存储优化建议 #

• 分组后的list[str]列直接存储为Parquet格式即可，不要尝试存储set类型的object列：Parquet对列表类型有专门的编码压缩，加载速度、压缩率远高于pickle格式，且兼容Polars、Vaex、Datatables等所有主流数据框架。
• 所有计算逻辑优先使用Polars原生表达式实现，尽量避免生成object类型列，才能最大化利用Polars的多线程性能优势。

内容的提问来源于stack exchange，提问作者Quiescent