寻求伦敦时区GMT/BST判断函数的向量化实现以优化Pandas性能

核心优化思路 #

原函数用apply逐行处理时，不仅重复创建时区对象，还依赖Python循环逻辑，数据量大时性能极差。改用Pandas原生的向量化dt方法结合numpy.where，依托底层C实现的批量操作，能大幅提升处理效率。

向量化解决方案代码 #

import pandas as pd
import numpy as np

# 假设数据框为df，日期列名为'date'
# 步骤1：将日期转换为欧洲伦敦时区（若原日期是无时区的naive datetime，先转UTC再转换）
df['date_london'] = df['date'].dt.tz_localize('UTC').dt.tz_convert('Europe/London')

# 步骤2：批量判断时区类型
df['timezone'] = np.where(
    df['date_london'].dt.utcoffset.dt.total_seconds() == 0,
    'GMT',
    'BST'
)

关键优化点 #

• 消除冗余操作：原函数每次apply都重复创建pytz.timezone对象，向量化方案仅做一次时区转换，避免无效重复计算。
• 彻底替换逐行循环：dt.utcoffset和np.where均为批量处理逻辑，处理百万级数据时，效率比apply提升数十倍。

简化场景处理 #

如果你的日期列已经是带Europe/London时区的datetime类型，可直接跳过时区转换步骤：

df['timezone'] = np.where(
    df['date'].dt.utcoffset.dt.total_seconds() == 0,
    'GMT',
    'BST'
)

内容的提问来源于stack exchange，提问作者Iain MacCormick