如何在Pandas中基于列设置Datetime时区，避免apply提升处理效率

针对大数据集下apply逐行处理时区速度过慢的问题，推荐使用分组批量处理的方案，利用pandas的向量化操作大幅提升效率：

前提准备 #

先确保DATETIME列是datetime64[ns]类型，如果原始数据是字符串，先做类型转换：

import pandas as pd

# 示例数据
data = {
    'DATETIME': ['2021-05-01 00:00:00', '2021-05-01 00:00:00', '2021-05-01 00:00:00', '2021-05-01 01:00:00', '2021-05-01 01:00:00'],
    'VALUE': [1.00, 2.13, 5.13, 4.25, 4.25],
    'TIME_ZONE': ['Europe/Athens', 'Europe/London', 'Europe/London', 'Europe/Dublin', 'Europe/Paris']
}
df = pd.DataFrame(data)

# 转换为datetime类型（如果原始数据是字符串）
df['DATETIME'] = pd.to_datetime(df['DATETIME'])

核心解决方案 #

按TIME_ZONE分组，对每组的DATETIME批量执行时区本地化，transform会自动保留原DataFrame的索引顺序，无需担心结果错位：

df['DATETIME_WITH_TZ'] = df.groupby('TIME_ZONE')['DATETIME'].transform(
    lambda group: group.dt.tz_localize(group.name)
)

效果说明 #

• 分组后相同时区的记录会被一次性处理，彻底避免了apply逐行循环的性能开销，数据量越大，速度提升越明显
• 处理后的DATETIME_WITH_TZ列会是带时区的datetime类型（如datetime64[ns, pytz.FixedOffset]），可直接用于后续时区转换、时间运算等操作

内容的提问来源于stack exchange，提问作者oskros