Polars str.find()处理UTF-8字符返回异常值，求无map_elements高效解法

这不是Bug，是Polars与Python原生字符串方法的设计逻辑差异：

• Polars的str.find()返回的是UTF-8字节索引，即按字符串的字节数计算子串位置
• Python原生str.find()返回的是Unicode字符索引，按单个字符（无论占多少字节）计数

当字符串包含多字节UTF-8字符（比如西里尔字母、中文、日文等）时，两者的索引值必然不同——这类字符在UTF-8中占2-4个字节，字节索引会远大于字符索引。

高效解决方案：使用Polars str.index_of() #

Polars内置了str.index_of()方法，专门按Unicode字符索引返回子串位置，行为完全匹配Python原生str.find()，且是矢量化操作，效率比map_elements高几个数量级。

修改后的示例代码：

import polars as pl

df = pl.DataFrame({
    "text": ["testтестword", None, '']
})

substr = 'word'
df = df.with_columns(
    # 原方法：返回字节索引
    pl.col('text').str.find(substr, literal=True, strict=True).alias('polars_byte_pos'),   
    # 替代方法：返回字符索引，匹配原生find
    pl.col('text').str.index_of(substr, literal=True, strict=True).alias('polars_char_pos'),
    # 原生Python方法作为对照
    pl.col("text").map_elements(lambda s: s.find(substr) if s is not None else -1, return_dtype=pl.Int64).alias('python_native')
)

print(df)

运行结果中，polars_char_pos会和python_native的输出完全一致，同时避免了map_elements的性能损耗。

额外说明：

• str.index_of()找不到子串时默认返回-1，和原生str.find()行为一致；若设置strict=True，则会在找不到时抛出错误，逻辑和str.find()的参数保持一致。

内容的提问来源于stack exchange，提问作者Vladimir