为何在Polars Rust的str_to_len函数中需使用两次map？

问题背景 #

以下代码实现了一个自定义函数str_to_len，用于在Polars中处理字符串列，能够正常运行：

let o = GetOutput::from_type(DataType::UInt32);
// 新增len列，原two列保留不变
let lf = lf.with_column(col("two").alias("len").apply(str_to_len, o));

fn str_to_len(str_val: Series) -> Result<Series> {
    let x = str_val
        .utf8()
        .unwrap()
        .into_iter()
        // 实际自定义逻辑写在这个map里
        .map(|opt_name: Option<&str>| opt_name.map(|name: &str| name.len() as u32))
        .collect::<UInt32Chunked>();
    Ok(x.into_series())
}

但修改map部分后，代码无法正常运行：

fn str_to_len(str_val: Series) -> Result<Series> {
    let x = str_val
        .utf8()
        .unwrap()
        .into_iter()
        // 实际自定义逻辑写在这个map里
        .map(|opt_name: Option<&str>| opt_name.unwrap().len() as u32) // <-- 修改部分
        .collect::<UInt32Chunked>();
    Ok(x.into_series())
}

Rust Analyzer给出的错误如下：

error[E0277]: a value of type `ChunkedArray<UInt32Type>` cannot be built from an iterator over elements of type `u32`
    --> src/frag_feature_refiner.rs:70:10
     |
70   |         .collect::<UInt32Chunked>();
     |          ^^^^^^^ 无法从元素类型为`u32`的迭代器构建`ChunkedArray<UInt32Type>`类型的值
     |
     = help: 特征`FromIterator<u32>`未为`ChunkedArray<UInt32Type>`实现
     = help: 以下其他类型实现了特征`FromIterator<A>`:
               <ChunkedArray<BinaryType> as FromIterator<Option<Ptr>>>
               <ChunkedArray<BinaryType> as FromIterator<Ptr>>
               <ChunkedArray<BooleanType> as FromIterator<Option<bool>>>
               <ChunkedArray<BooleanType> as FromIterator<bool>>
               <ChunkedArray<ListType> as FromIterator<Option<Box<(dyn polars::export::arrow2::array::Array + 'static)>>>>
               <ChunkedArray<ListType> as FromIterator<Option<polars::prelude::Series>>>
               <ChunkedArray<ListType> as FromIterator<Ptr>>
               <ChunkedArray<T> as FromIterator<(Vec<<T as PolarsNumericType>::Native>, Option<Bitmap>)>>
             and 3 others
note: 方法调用链的关联类型可能不符合预期
    --> src/frag_feature_refiner.rs:69:10
     |
64   |     let x = str_val
     |             ------- 该表达式类型为`Series`
...
67   |         .into_iter()
     |          ----------- 此处`Iterator::Item`为`Option<&str>`
68   |         // your actual custom function would be in this map
69   |         .map(|opt_name: Option<&str>| opt_name.unwrap().len() as u32) // <-- changed part
     |          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ 此处`Iterator::Item`变为`u32`
note: 需满足`std::iter::Iterator::collect`中的约束
    --> /imbdx/user/eck/.rustup/toolchains/stable-x86_64-unknown-linux-gnu/lib/rustlib/src/rust/library/core/src/iter/traits/iterator.rs:1892:19
     |
1892 |     fn collect<B: FromIterator<Self::Item>>(self) -> B
     |                   ^^^^^^^^^^^^^^^^^^^^^^^^ 该约束由`Iterator::collect`要求

解答 #

核心原因分为两点：

• Polars的空值处理规范
  Polars字符串列允许空值，所以into_iter()返回的迭代器元素类型是Option<&str>（None代表空值）。对应的数值列UInt32Chunked同样需要支持空值，因此它只实现了针对Option<u32>类型元素的FromIterator特征，不支持直接收集u32类型元素。

• 嵌套map的作用是保留空值语义
  外层的map是迭代器的方法，用来遍历每个Option<&str>元素；内层的map是Option自身的方法，它会：

  • 若输入是Some(&str)，则计算字符串长度并返回Some(u32)
  • 若输入是None，则直接返回None
    处理后迭代器的元素类型变为Option<u32>，完全符合UInt32Chunked::collect的类型要求。

修改后的代码用unwrap()强制取出&str，不仅会把元素类型变成u32，违背Polars的空值处理规范，还会在遇到空值时直接panic，同时不满足collect的类型约束，因此触发编译错误。

内容的提问来源于stack exchange，提问作者Crispy13