大尺寸Pandas DataFrame导出Stata失败：求替代方案与优化方法

一、绕过Python直接用Stata导入 #

1. 直接读取Feather文件：Stata 16及以上版本原生支持import feather命令，直接在Stata中执行：

   import feather using "your_data.feather", clear
   save "output.dta", replace
   

   这是最高效的方式，完全避开Python的to_stata瓶颈。

2. 转Parquet后导入Stata：如果Feather导入有问题，先把Feather转成Parquet（Pandas处理Parquet更高效），再用Stata读取：

   import pandas as pd
   df = pd.read_feather('your_data.feather')
   df.to_parquet('your_data.parquet', compression='snappy')
   

   然后在Stata中执行：

   import parquet using "your_data.parquet", clear
   save "output.dta", replace
   

二、优化Python的to_stata导出 #

1. 恢复原始数据类型，避免全转字符串：把所有列转成字符串是最大的性能杀手，to_stata会自动将Pandas的nan映射为Stata的缺失值（.），完全满足你区分0和缺失值的需求。先把列恢复为原始数值类型，仅保留必要的字符串列。

2. 分块导出优化：之前崩溃可能是分块过大或内存泄漏，试试更小的分块，同时确保第一次导出写入元数据，后续追加：

   import pandas as pd
   
   df = pd.read_feather('your_data.feather')
   chunk_size = 100000  # 根据内存调整，比如8G内存用10万行
   total_chunks = (len(df) + chunk_size - 1) // chunk_size  # 计算总块数
   
   for idx in range(total_chunks):
       start = idx * chunk_size
       end = min(start + chunk_size, len(df))
       chunk = df.iloc[start:end]
       # 第一次写入文件，后续追加
       if idx == 0:
           chunk.to_stata('output.dta', write_index=False)
       else:
           chunk.to_stata('output.dta', write_index=False, mode='append')
   

3. 升级依赖库：旧版本的Pandas或pyarrow可能存在to_stata的bug，执行升级命令：

   pip install --upgrade pandas pyarrow
   

4. 压缩DataFrame内存：导出前先优化内存占用，减少内存压力：

   # 优化数值列 dtype
   df_numeric = df.select_dtypes(include=['int', 'float'])
   df_numeric_optimized = df_numeric.apply(pd.to_numeric, downcast='integer')
   df_numeric_optimized = df_numeric_optimized.apply(pd.to_numeric, downcast='float')
   # 替换原DataFrame的数值列
   df[df_numeric.columns] = df_numeric_optimized
   

三、备选：CSV分块+Stata合并 #

如果上述方法都不行，分块导出CSV，再用Stata批量合并：

1. Python分块存CSV：

   import pandas as pd
   
   df = pd.read_feather('your_data.feather')
   chunk_size = 100000
   total_chunks = (len(df) + chunk_size - 1) // chunk_size
   
   for idx in range(total_chunks):
       start = idx * chunk_size
       end = min(start + chunk_size, len(df))
       chunk = df.iloc[start:end]
       chunk.to_csv(f'chunk_{idx}.csv', index=False, na_rep='')  # 空字符串代表缺失值
   

2. Stata批量合并：

   clear
   local files : dir . files "chunk_*.csv"
   foreach file of local files {
       import delimited using "`file'", clear
       append using "output.dta"  # 第一次循环时output.dta不存在，会自动创建
       save "output.dta", replace
   }
   

内容的提问来源于stack exchange，提问作者Alex Günsberg