导出Pandas DataFrame时如何保持数据类型一致性？

问题 #

近几周一直在处理大型数据集，想提升效率。通过调整Pandas数据类型实现了内存压缩：将默认的int64/float64改为int32/float32，把唯一字符串列转为category类型，原本4.6GB的DataFrame压缩到了2.4-2.5GB，节省约40%空间。修改代码如下：

data_type_dict = {'low' :'float32', 'close' :'float32', 'high' :'float32','open':'float32','volume':'int32','ticker_name':'category'}
data = data.astype(data_type_dict)

但用to_csv导出到CSV文件、to_sql导出到SQL Server时，导出后的数据大小和原数据一致，怎么在导出时保持数据类型的压缩效果？

解决方案 #

导出到CSV时保持压缩效果 #

CSV是纯文本格式，本身不会保留Pandas的数值类型或category类型的压缩特性——不管你用int32还是int64，导出到CSV都是文本形式的数字，category类型也会被还原成原始字符串，所以文件大小不会变小。要保持压缩效果，有两种方案：

• 使用压缩格式导出CSV：Pandas的to_csv支持直接导出为压缩文件，比如gzip，能大幅减小文件体积：

  # 导出为gzip压缩的CSV
  data.to_csv('compressed_data.csv.gz', compression='gzip', index=False)
  

• 改用二进制存储格式：如果后续还是用Python/Pandas处理，推荐用Parquet或Feather这类二进制列式存储格式，它们会保留数据类型和压缩特性，读写速度也更快：

  # 导出为Parquet格式（需要安装pyarrow或fastparquet）
  data.to_parquet('compressed_data.parquet', index=False)
  
  # 导出为Feather格式（需要安装pyarrow）
  data.to_feather('compressed_data.feather')
  

导出到SQL Server时保持数据类型一致性 #

Pandas的to_sql默认会把数据类型映射为SQL Server的通用类型（比如把float32映射为float64对应的FLOAT，category映射为NVARCHAR），所以不会自动沿用你定义的压缩类型。需要手动指定SQL数据类型：

1. 安装必要依赖：确保安装了pyodbc和sqlalchemy，用于连接SQL Server。
2. 自定义数据类型映射：使用dtype参数指定每个列对应的SQL Server数据类型：

   from sqlalchemy import create_engine, types
   
   # 建立SQL Server连接
   engine = create_engine('mssql+pyodbc://username:password@server/database?driver=ODBC+Driver+17+for+SQL+Server')
   
   # 定义SQL数据类型映射
   sql_dtype = {
       'low': types.FLOAT(precision=24),  # 对应float32
       'close': types.FLOAT(precision=24),
       'high': types.FLOAT(precision=24),
       'open': types.FLOAT(precision=24),
       'volume': types.INTEGER(),  # 对应int32（SQL Server的INT就是32位）
       'ticker_name': types.VARCHAR(length=50)  # 根据实际字符串长度定义
   }
   
   # 导出数据，指定dtype
   data.to_sql('target_table', engine, if_exists='replace', index=False, dtype=sql_dtype)
   

   注意：SQL Server没有直接对应Pandas category类型的类型，若类别数量固定且较少，可创建ENUM类型（SQL Server 2016+支持）；否则用VARCHAR并限制长度，既能节省空间又能保证类型匹配。

内容的提问来源于stack exchange，提问作者DevangB