Polars时区处理代码在高配台式机运行极慢的原因排查

问题背景 #

同样的Polars代码，在低配置笔记本（11代Intel Core i7、4核8线程、16GB内存）运行仅需6秒，在高配置台式机（AMD Ryzen Threadripper Pro、24核48线程、128GB内存）却耗时134.1秒。代码用于移除DataFrame时间列的时区信息，统一测试环境为Python 3.9.12、Polars 0.15.8。

原实现代码：

import polars as pl
import pytz
import datetime
import pandas as pd

def remove_timezone(df: pl.DataFrame, col: str = 't'):
    return df.with_column(
        pl.col(col).apply(
            lambda x: x.astimezone(  # type: ignore
                pytz.utc).replace(tzinfo=None)  # type: ignore
        ).alias(col))

# 复现代码
def setup():
    t = [datetime.datetime(2022, 1, 1, 1, 0, tzinfo=datetime.timezone(datetime.timedelta(seconds=3600)))] * 51824
    return pl.from_pandas(pd.DataFrame({'t': t}))

remove_timezone(setup())

对比Pandas实现：笔记本耗时5.1秒，台式机仅0.2秒，性能差异完全正常。同时发现Polars处理datetime[ns, +01:00]类型时存在异常，比如df['t'].to_list()操作在移除时区前后速度差异极大。

问题根源 #

1. 非矢量化操作的性能开销：原代码使用pl.col().apply()逐行调用Python lambda处理每个datetime对象，完全放弃了Polars的矢量化计算优势。apply本质是在Python层面循环处理每一行，多核机器上的线程调度成本反而会放大这种逐行操作的低效，导致高配置机器性能不升反降。
2. Python对象与Polars原生类型的差异：apply处理后的列会变成Python datetime对象的列表列，而非Polars原生的datetime[ns]类型，这也是to_list()速度异常的原因——原生类型转列表的效率远高于Python对象列。

修复方案 #

使用Polars内置的矢量化时区处理API，完全避免Python层面的逐行操作：

def remove_timezone(df: pl.DataFrame, col: str = 't'):
    return df.with_columns(
        pl.col(col)
        .dt.convert_time_zone("UTC")  # 转换到UTC时区
        .dt.replace_time_zone(None)   # 移除时区信息
        .alias(col)
    )

性能对比 #

• 低配置笔记本：从6秒降至0.01秒以内
• 高配置台式机：从134.1秒降至0.01秒以内
  同时df['t'].to_list()操作也会恢复到原生类型的高效速度。

关键说明 #

Polars的核心优势是矢量化计算，任何时候都应优先使用内置的dt、str等矢量化方法，避免使用apply进行逐行Python操作，尤其是处理大规模数据时，两者的性能差距会呈数量级放大。

内容的提问来源于stack exchange，提问作者3dSpatialUser