为什么对pandas DatetimeIndex调用.map方法时会先传入整个索引？

结论 #

这不是pandas的bug，是DatetimeIndex这类扩展类型索引的设计特性，核心是为了性能优化做的权衡。

原因解释 #

pandas的Index.map方法在实现时，会优先尝试向量化调用传入的函数：即先把整个索引对象作为参数传入函数，若函数能直接返回和原索引长度一致的结果，就跳过逐元素遍历的步骤，大幅提升长索引场景下的处理性能。

• 普通整数、字符串类型的基础索引基于numpy数组实现，向量化调用失败后会直接回退到逐元素处理，不会额外暴露先传整个索引的逻辑，因此你测试的pd.Index([1,12,192])不会出现先打印整个索引的情况。
• DatetimeIndex属于pandas自研的扩展类型索引，它的向量化校验逻辑会先将完整索引对象传入函数做适配性测试，就出现了你观察到的先打印整个索引、再逐元素打印的表现。

规避方案 #

如果你的处理函数仅支持单个时间戳输入，不想触发向量化测试逻辑，可以用两种方式绕开：

1. 把索引转成Series后再调用map：index.to_series().map(你的处理函数)
2. 直接用列表推导处理后再转回需要的结构：pd.Index([你的处理函数(x) for x in index])

内容的提问来源于stack exchange，提问作者ElRudi