能否用Git对pickle文件进行版本控制？大文件更新的带宽消耗疑问

能不能用Git追踪Pickle文件的变更？ #

可以是可以，但体验比CSV差太多。Git靠文本对比识别变更，CSV是纯文本格式，每行的改动Git都能精准抓出来；但Pickle是二进制序列化文件，Git读不懂内部结构，每次变更只会显示“整个文件有改动”，看不到具体变了啥内容。

1GB的Pickle每天加0.1GB，推送GitHub时传的是差异还是整个文件？ #

得区分两种情况：

• 要是用CSV，每天在末尾追加内容的话，Git能算出新增的行数据，推送的就是那0.1GB左右的增量（加少量元数据）。
• 但Pickle是二进制文件，哪怕只是追加内容，整个文件的二进制结构都会发生变化，Git没法高效算出有效差异，基本上会推送整个1.1GB的文件——除非专门配置Git LFS这类大文件工具，但GitHub默认不支持，而且LFS还有存储和带宽配额限制。

存储格式选Pickle还是CSV？ #

看你的优先级：

• 要是想省带宽、降低Git存储成本，果断选CSV。虽然它本地占用空间比Pickle大，但每次推送的增量极小，长期下来成本低很多。而且CSV能直接用文本编辑器打开，排查问题更方便。
• 要是实在想省本地存储空间用Pickle，就得搭配Git LFS，但要注意GitHub的LFS有额度限制，超出需要付费，配置也相对麻烦。

内容的提问来源于stack exchange，提问作者mathbike