Polars DataFrame列表列转单值列：方法最优性及LazyFrame兼容性问询

最优实现方式 #

如果你的DataFrame中部分列是仅含单个元素的列表（如[10]、["a"]），最简洁高效的转换方式是利用Polars的向量化列表操作，批量处理所有列表类型的列：

import polars as pl

# 示例DataFrame
df = pl.DataFrame({
    "id": [1, 2, 3],
    "int_col": [[10], [20], [30]],
    "str_col": [["a"], ["b"], ["c"]]
})

# 转换所有列表类型列为对应单值类型
df_converted = df.with_columns(pl.col(pl.List).list.first())

为什么这是最优实现？ #

• 向量化操作：Polars的核心优势是向量化计算，批量处理所有列表列比循环遍历每列的效率高得多，尤其是处理大数据集时。
• 语义清晰：list.first()明确表达了“取列表第一个元素”的意图（而你的场景中第一个元素就是唯一元素），可读性更强。
• 自动类型继承：该方法会自动沿用原列表元素的类型（如int列表转int类型、str列表转str类型），无需手动指定类型转换。

如果你只需要转换特定列而非所有列表列，只需指定列名即可：

df_converted = df.with_columns(
    pl.col(["int_col", "str_col"]).list.first()
)

LazyFrame兼容性 #

完全兼容LazyFrame模式。只需将操作应用在LazyFrame上，最后调用collect()执行计算即可：

# 创建LazyFrame
lf = df.lazy()

# 定义转换逻辑
lf_converted = lf.with_columns(pl.col(pl.List).list.first())

# 执行计算并获取结果
result = lf_converted.collect()

Polars的Lazy API会将list.first()操作纳入查询计划，经过优化后执行，性能与Eager模式一致，甚至在复杂查询场景下更高效。

注意事项 #

如果你的列表列存在空列表的情况（虽然你描述的是仅含单个元素的列表），可以添加fill_null()处理空值：

df_converted = df.with_columns(pl.col(pl.List).list.first().fill_default(0))  # 针对int列

内容的提问来源于stack exchange，提问作者Alan Chau