导入未调用的自定义库后pd.DataFrame.sum(axis=1)运行过慢问题咨询

核心原因说明 #

导入模块时即使不调用任何功能，Python也会执行模块的所有顶层代码，全局状态一旦被修改就会影响后续所有代码的运行，你遇到的axis=1操作性能骤降但axis=0正常的特性，和pandas的底层存储逻辑直接相关：
pandas DataFrame默认采用列优先的内存布局，sum(axis=0)是沿行方向对单列做聚合，属于连续内存访问，本身性能极高，轻微的性能损耗几乎感知不到；sum(axis=1)是沿列方向对单行做聚合，属于非连续内存访问，对性能损耗的敏感度要高得多，全局修改的负面影响会首先在这类操作上体现出来。

常见的触发场景 #

• 自研库的顶层代码给pandas/numpy打了猴子补丁：如果补丁修改了pd.DataFrame.sum的底层实现、或者替换了数值计算的默认函数，只要导入库补丁就会全局生效，刚好命中axis=1的执行逻辑就会导致性能下降，未被命中的axis=0逻辑不受影响。
• 自研库修改了全局配置项：比如修改了numpy的线程池大小、关闭了pandas的内部计算优化开关、开启了全链路校验/调试模式，这类配置都是全局生效的，导入后会改变所有pandas操作的运行逻辑。
• 自研库的依赖触发了全局状态修改：哪怕自研库本身没有修改全局状态，只要它导入的第三方依赖在初始化时修改了数值计算相关的全局配置，同样会影响pandas的运行性能。

排查修复方案 #

• 先对比导入自研库前后，pd.DataFrame.sum的函数内存地址、pd.get_option()返回的核心配置项是否有差异，确认是否存在补丁修改或配置变更。
• 逐行注释自研库的顶层代码，每次注释后做导入+sum(axis=1)耗时测试，快速定位到导致性能下降的具体代码行。
• 确认问题根因后，把全局修改的逻辑从顶层移到自研库的功能函数内部，仅在调用相关功能时临时修改配置/打补丁，执行完成后立即恢复原有全局状态，避免污染全局运行环境。

内容的提问来源于stack exchange，提问作者Jack Smith