Pandas DataFrame导出CSV体积远大于内存占用问题咨询

7.6GB是Pandas做类型优化后的二进制内存占用，和CSV纯文本格式的存储逻辑完全不同，22GB的体积差是正常现象，并非导出代码错误，核心原因有三点：

• 占总列数36%的category类型是内存压缩的核心，但导出CSV时压缩优势完全消失：category类型在内存中仅存储整数编码+1份全局字符串映射字典，重复字符串仅需存1次，比如country_name列全球仅不到200个取值，6100万行数据每一行仅需1字节存整数编码即可；但导出为CSV时，每一行都会写入完整的原始字符串，重复值会被重复写入数千万次，这部分是体积暴涨的最主要来源。
• 数值类型的存储开销存在天然差异：int8、float32、int64在内存中是固定长度二进制存储，单值仅占1-8字节；但转为CSV明文后，一个6位整数要占6字节，未做精度控制的浮点数可能写出十余位小数，单值占10字节以上，比二进制存储大1-3倍。
• CSV格式本身存在固定冗余：每列之间的逗号分隔符、每行的换行符、含特殊字符的字符串前后的包裹引号，在6100万行的规模下，累计会额外占用1.5-2GB空间。

• 首选方案：导出时开启gzip压缩，改动成本最低、见效最快。Stata 16及以上版本、R的原生读取函数和readr系列包都支持直接读取gzip压缩的CSV，无需手动解压。gzip对纯文本的压缩率可达70%-80%，22GB的原始CSV压缩后体积仅4.5-6.5GB，比当前DataFrame的内存占用还小，读取速度比未压缩的22GB文件快3-4倍。导出代码参考：

dask_db_emakg_prova.to_csv(
    'df_emakg.csv.gz',
    index=False,
    single_file=True,
    compression='gzip',
    float_format="%.5f" # 浮点数保留5位小数，经纬度、常规统计指标精度足够，避免导出无意义的长小数位
)

• 可选进阶压缩操作，可进一步缩小体积：
  • 若分析流程支持值标签映射，可单独导出12个category列的「整数编码-原始字符串」映射表，主CSV中仅导出category对应的整数编码，这一步可再缩减3-4GB体积，导入Stata/R后通过映射表即可匹配回原始文本。
  • 提前清洗6个object类型文本列：去掉首尾空格、无意义特殊字符和HTML标签，将文本中内嵌的逗号替换为分号，避免导出时自动添加引号包裹带来的额外开销。
  • 对paperyear、confscore、uspto、knowngood_dummy这类整数列，确认无缺失值后转为纯整数类型，导出时不带.0小数后缀，单值可省2字节。

注：无需追求CSV体积与内存占用完全一致，二者存储逻辑天生存在差异，通过上述方案将文件压缩至6GB左右，即可完全解决大文件加载过慢的问题。

内容的提问来源于stack exchange，提问作者Lusian