3GB CSV文件在VM中Pandas读取耗时久且内存占用过高的问题

一、为什么3GB CSV转成DataFrame后占用12GB内存？ #

核心原因集中在这几点：

• 数据类型推断差异：Windows和Debian环境下pandas的类型推断逻辑可能出现偏差。比如某些数值列在Windows上被推断为int32/float32，但Debian上默认使用int64/float64，单个数值的内存占用直接翻倍；更常见的是字符串列，Windows可能自动将重复度高的列识别为category类型，而Debian上默认用object类型——object存储每个字符串的指针，内存开销远大于category。
• pandas版本或配置差异：不同环境的pandas版本可能不同，旧版本的内存优化不如新版本；另外，Windows上可能默认启用了某些优化（比如pyarrow集成），而Debian虚拟机里未配置，导致字符串或数值类型的存储效率低下。
• 虚拟机内存额外开销：虚拟机本身会占用部分内存用于系统调度，同时pandas的DataFrame在内存中存储时会有内存对齐的额外消耗，叠加起来会让实际占用比理论计算值高不少。

二、如何降低DataFrame的内存占用？ #

直接上可落地的优化方案：

1. 显式指定数据类型读取
   读取CSV时用dtype参数强制指定每列的最优类型，提前规避不合理的类型推断：

   dtype_spec = {
       "id": "int32",
       "order_status": "category",
       "product_price": "float32",
       "product_desc": "string"
   }
   df = pd.read_csv("your_large_file.csv", dtype=dtype_spec)
   

   可以先通过df.memory_usage(deep=True)查看各列当前内存占用，再针对性调整类型——比如把大整数列从int64改成int32甚至int16（只要数值范围足够），重复度高的字符串列改成category。

2. 使用pyarrow引擎加速读取并优化内存
   pandas 2.0+支持用pyarrow作为读取引擎，它的字符串存储用string dtype代替object，内存效率更高，读取速度也会显著提升：

   df = pd.read_csv("your_large_file.csv", engine="pyarrow", dtype_backend="pyarrow")
   

3. 只读取需要的列
   如果不需要全量列，用usecols参数指定要加载的列，直接砍掉不必要的内存开销：

   df = pd.read_csv("your_large_file.csv", usecols=["id", "order_status", "product_price"])
   

4. 分块读取并逐块优化类型
   分块读取时就对每个块做类型转换，再拼接，避免中间产生大内存的临时对象：

   chunk_iter = pd.read_csv("your_large_file.csv", chunksize=100000, dtype=dtype_spec)
   df_list = []
   for chunk in chunk_iter:
       chunk["order_status"] = chunk["order_status"].astype("category")
       df_list.append(chunk)
   df = pd.concat(df_list, ignore_index=True, copy=False)
   

5. 已加载DataFrame的后处理优化
   对于已经加载的DataFrame，直接用astype转换类型压缩内存：

   # 数值列转成更小的类型
   df["id"] = df["id"].astype("int32")
   # 重复度高的字符串列转成category
   df["order_status"] = df["order_status"].astype("category")
   # 普通字符串列转成string dtype代替object
   df["product_desc"] = df["product_desc"].astype("string")
   

内容的提问来源于stack exchange，提问作者Kuldeep Jangir