Polars：如何在表达式API中收集单元格级错误（非逐行map）

核心思路：用Polars原生向量化方法捕获错误，避免逐行map #

Polars的catch_expr和is_error()方法可以实现向量化的错误处理，既能完成列转换，又能定位出错元素、收集错误信息，完全不需要逐行map。

方法1：标记出错行并保留转换结果 #

针对单列转换场景，用catch_expr在出错时返回默认值，同时用is_error()生成错误标记列：

import polars as pl

# 示例：可能出错的字符串转整数操作
df = df.with_columns(
    converted_col=pl.col("raw_str").cast(pl.Int64).catch_expr(pl.lit(None)),
    has_error=pl.when(pl.col("raw_str").cast(pl.Int64).is_error()).then(True).otherwise(False)
)

# 筛选出错行
error_rows = df.filter(pl.col("has_error"))

方法2：收集具体错误信息 #

如果需要捕获错误详情，可以结合向量化UDF（避免逐行遍历）：

import polars as pl

def convert_with_error(col):
    try:
        return col.cast(pl.Int64)
    except Exception as e:
        return str(e)

# 注册为向量化表达式函数
pl.register_expr_function("convert_with_error", convert_with_error, return_dtype=pl.String)

df = df.with_columns(
    converted_col=pl.col("raw_str").cast(pl.Int64).catch_expr(pl.lit(None)),
    error_msg=pl.col("raw_str").convert_with_error()
)

方法3：批量处理多列时定位出错列 #

针对上千列的批量转换场景，遍历列名逐个处理，记录每列的错误情况：

target_cols = df.columns  # 假设需要处理所有列
for col in target_cols:
    df = df.with_columns(
        pl.col(col).cast(pl.Float64).alias(f"{col}_converted").catch_expr(pl.lit(None)),
        pl.when(pl.col(col).cast(pl.Float64).is_error()).then(col).alias(f"{col}_error")
    )

# 汇总所有出错列的信息
error_summary = df.select([pl.col(f"{col}_error") for col in target_cols]).melt()
error_summary = error_summary.filter(pl.col("value").is_not_null())

关键提示 #

• catch_expr是Polars原生向量化操作，性能远优于逐行map
• is_error()可以直接判断表达式执行是否出错，无需重复计算转换逻辑
• 批量处理时通过别名区分转换列和错误列，便于后续筛选和统计

内容的提问来源于stack exchange，提问作者Abhishek Sharma