存储大量测试控制台日志的MySQL大表体积过高，求优化缩小方案

方案1：Python端字段压缩（改造成本最低） #

• Python导入数据时，对LogTextData纯文本内容调用zlib.compress()做压缩后再写入数据库，纯文本压缩率普遍可达70%~90%
• 将原表LogTextData字段的LongText类型修改为对应大小的Blob/MediumBlob类型
• 数据读取逻辑新增zlib.decompress()解压步骤即可，业务逻辑几乎无调整，2.7G的日志表可直接缩减至300M~800M区间
• 完全不影响现有数据库备份策略，所有数据仍然存在库内

方案2：冷热数据分离（适配日志访问特性） #

• 给日志表增加时间分区，按周/月维度做分区规则配置
• Python导入脚本新增日志等级过滤逻辑，调试级冗余日志、重复的错误输出、空白日志直接丢弃不入库
• 定期将超过3个月（可按需调整）的冷分区数据归档为压缩Parquet/CSV文件，存储在服务器本地目录，归档数据可随整机备份同时备份，不会丢失
• 在线库仅保留高频访问的热日志，表体积可直接缩减至1G以内，备份、环境同步效率大幅提升

方案3：MySQL原生压缩（零业务代码改造） #

• 将该日志表的存储引擎调整为支持页压缩的InnoDB，开启innodb_compression_default=ON参数（MySQL5.7及以上版本原生支持）
• 删除LogTextData字段上的不必要索引，仅保留测试ID、运行时间等检索必要的索引
• 不需要调整Python导入、读取的任何代码，整体压缩率可达50%左右，可将表体积缩减至1.3G左右

方案4：日志独立存储（最大化缩减库体积） #

• 放弃将日志内容存入MySQL，Python导入时将LogTextData压缩为独立的gz文件，文件名关联对应的测试唯一ID，存储在服务器指定日志目录
• MySQL仅保留测试ID、日志文件路径、日志大小、运行时间等元数据，单表体积可直接降至几十M级别
• 备份时将数据库备份包和日志目录一同打包即可，完全满足备份要求，单条日志导出、查看的灵活性比存数据库更高，不要选择转PDF的方案，转码开销大且压缩率远低于直接压缩纯文本

内容的提问来源于stack exchange，提问作者Mads Sander Høgstrup