如何优化Pandas的.to_dict代码？本地与Pod性能差异解析

一、代码优化方法 #

• 提前映射列名，避免rename开销：如果data_cols和new_cols是一一对应的，直接在选取列后修改列名，比调用rename更高效（rename会创建新的DataFrame对象，带来额外开销）。示例：

  selected_df = profiles_df[data_cols].loc[profile_ids]
  selected_df.columns = new_cols
  profile_data = selected_df.to_dict("records")
  

• 用itertuples替代to_dict("records")：to_dict("records")内部会逐行处理并生成字典，而itertuples返回轻量的元组对象，结合列表推导式生成字典的速度更快。示例：

  selected_df = profiles_df[data_cols].loc[profile_ids]
  selected_df.columns = new_cols
  profile_data = [dict(zip(selected_df.columns, row)) for row in selected_df.itertuples(index=False)]
  

• 确保索引匹配，避免隐式类型转换：确认profile_ids的类型与profiles_df的索引类型完全一致（比如都是字符串或整数），避免loc操作时的隐式类型转换开销。如果profile_ids不是索引，可先将profiles_df的索引设置为对应列，再执行loc。

• 减少中间对象生成：尽量合并操作步骤，避免链式操作中产生不必要的中间DataFrame。比如先执行loc再选取列（若profile_ids是索引，两种顺序差异不大，但大数据集下可测试哪种更快）。

二、性能差异的原因 #

• CPU单核心性能差异：本地笔记本的CPU通常是消费级高性能CPU，单核心主频高；而Pod的CPU可能是云服务器的共享CPU或低主频CPU，即使CPU使用率未达上限，单核心计算能力的差距会直接导致代码执行速度变慢。

• 存储IO性能差异：本地环境一般使用高速SSD，数据加载到内存的速度快；Pod的存储多为网络挂载存储（如EBS），IO延迟高，若profiles_df是从存储加载的，初始加载的延迟会间接影响整体耗时。

• CPU节流限制：即使Pod的CPU使用率显示为1/1.5，Kubernetes等容器编排平台可能会对Pod设置CPU节流（CPU Throttling），当Pod的CPU使用超过配额时会被限制，导致实际可用CPU资源比显示的少。

• 内存带宽差异：字符串数据的处理依赖内存读写，本地笔记本的内存带宽通常比云服务器节点更高，Pod环境内存带宽不足会拖慢数据处理速度。

• Pandas底层优化差异：本地环境的Pandas可能编译时启用了MKL、OpenBLAS等高性能线性代数库，而Pod环境的Pandas是默认编译版本，缺少这些优化，导致相同代码的执行效率差异。

内容的提问来源于stack exchange，提问作者An old man in the sea.