如何在Polars LazyFrame中截断字符串列且不加载全量数据？

核心结论 #

Polars的LazyFrame是不可变结构，无法直接原地修改。所有转换操作都会返回新的LazyFrame实例，且全程保持延迟执行（不会加载全量数据到内存）。

实现方案 #

你可以通过以下步骤批量处理所有字符串列：

1. 遍历schema筛选出所有pl.String类型的列
2. 生成批量截断的表达式列表
3. 调用with_columns应用这些表达式，得到处理后的LazyFrame

完整代码示例 #

import polars as pl

# 模拟scan_csv生成的LazyFrame
example = pl.LazyFrame(
    {
        "big_column": ["a" * 1000],
        "another_big_column": ["b" * 1000],
        "small_column": ["c"],
        "integer_column": [1]
    },
    schema = {
        "big_column": pl.String,
        "another_big_column": pl.String,
        "small_column": pl.String,
        "integer_column": pl.Int8
    }
)

# 指定最大截断长度
MAX_STR_LENGTH = 255

# 1. 筛选所有字符串列
string_columns = [col_name for col_name, dtype in example.schema.items() if dtype == pl.String]

# 2. 生成截断表达式：对每个字符串列取前MAX_STR_LENGTH个字符，保留原列名
truncate_expressions = [
    pl.col(col).str.slice(start=0, length=MAX_STR_LENGTH).alias(col)
    for col in string_columns
]

# 3. 应用表达式，得到新的LazyFrame（全程延迟执行，不加载数据）
processed_lf = example.with_columns(truncate_expressions)

# 验证结果（此时才会实际执行计算）
print(processed_lf.collect())

关键细节说明 #

• str.slice(start=0, length=N)：直接截取字符串前N个字符，若原字符串长度小于N则保持原样，无需额外判断
• with_columns：仅修改指定列，其他列（如示例中的integer_column）保持不变
• 全程延迟执行：直到调用collect()、write_database()等触发计算的方法时，才会实际处理数据，完全符合“不加载全量数据到内存”的需求

关于你的循环思路 #

如果坚持用循环方式实现，也可以逐列更新（本质是多次调用with_columns，效率略低于批量表达式，但逻辑一致）：

processed_lf = example
for col_name, dtype in example.schema.items():
    if dtype == pl.String:
        processed_lf = processed_lf.with_columns(
            pl.col(col_name).str.slice(0, MAX_STR_LENGTH).alias(col_name)
        )

内容的提问来源于stack exchange，提问作者rxFt20