Pandas to_csv方法致文件大小激增问题的排查与解决

• 重复写入全量数据：这是最常见的核心原因。很多时候代码逻辑出错，比如每次拉取10行新数据后，先把本地CSV里的50万行全部读入DataFrame，和新数据合并后重新写入整个文件。每次追加都相当于把原有数据再复制一遍，文件大小自然指数级膨胀（比如第一次追加后变成500010行，第二次变成1000020行，以此类推）。
• 参数使用错误：用to_csv追加时，若没加header=False，每次都会重复写入表头；若没加index=False，会额外写入索引列，单次影响不大但多次叠加后也会增加体积。
• 未过滤重复数据：如果外部源拉取的10行数据里包含大量已写入过的旧数据，也会导致文件行数和体积持续冗余增长。

修复现有过大的CSV文件 #

• 去重后重新写入：用pandas读取全量数据，删除重复行后覆盖写入，快速缩小文件体积：

import pandas as pd
df = pd.read_csv('your_data.csv')
# 按唯一标识列去重（比如'id'），无唯一列可省略subset参数用全列判断
df = df.drop_duplicates(subset=['id'], keep='first')
df.to_csv('your_data.csv', index=False)

• 定位重复根源：检查文件中是否有整批次重复的内容，找到导致重复写入的代码段并修正。

正确的CSV追加方式 #

确保只写入本次新增的、本地未存在的数据：

1. 先过滤新数据：通过唯一ID、时间戳等字段，筛选出本地CSV中没有的内容；
2. 使用正确的to_csv参数追加：

# new_data为已过滤后的10行新数据
new_data.to_csv(
    'your_data.csv',
    mode='a',        # 启用追加模式
    header=False,    # 已有表头，不再重复写入
    index=False      # 不写入无用的索引列
)

替代存储方案（适配50万+数据量） #

CSV本身不适合作为大数据量的存储介质，推荐以下更高效的方案：

• SQLite：Python内置支持，无需额外服务，插入、查询效率远高于CSV。用pandas.to_sql可直接追加数据，自动避免重复写入风险：

from sqlalchemy import create_engine
engine = create_engine('sqlite:///your_db.db')
# if_exists='append' 指定追加模式
new_data.to_sql('your_table', engine, if_exists='append', index=False)

• Parquet/Feather：列式存储格式，比CSV节省30%-70%的空间，读写速度更快。pandas支持直接读写，追加可借助pyarrow实现：

# 写入Parquet并追加
new_data.to_parquet('your_data.parquet', engine='pyarrow', append=True)

• 分块CSV：若坚持用CSV，可按日期或批次拆分文件（比如每天一个CSV），避免单个文件过大。

内容的提问来源于stack exchange，提问作者Jim99