谷歌云端硬盘文件夹增量同步替代全量覆写的算法问询

你当前采用的全量删除后复写的方案，仅适合小容量文件夹、全量变更频率高的场景，当文件夹内容多、单次变更占比低时，改用增量差异同步方案即可大幅降低资源开销，具体实现逻辑如下：

基础通用同步逻辑 #

单向同步（A→B镜像同步）的核心是对比两端文件/文件夹的差异，只处理变更的部分：

• 第一步：分别拉取源文件夹A、目标文件夹B下所有对象的元数据快照，每个快照项至少包含相对路径、最后修改时间、文件哈希值、对象类型（文件/文件夹）四个核心字段
• 第二步：对两份快照做差集比对，分三类情况处理：
  • 仅在A中存在的项：直接将A的对应项复制到B的相同路径下
  • 仅在B中存在的项：直接删除B的对应项即可（镜像同步逻辑下默认A是唯一可信源）
  • A、B中都存在的项：先对比修改时间，若A的修改时间晚于B，再对比哈希值确认内容有差异，就用A的内容覆盖B的对应文件，否则跳过该对象

Google Drive 场景专属优化 #

不需要自己计算哈希、下载文件内容，直接调用Drive官方API就能完成元数据对比，进一步降低开销：

• Google Drive的每个文件/文件夹对象都会返回官方生成的元数据：唯一标识id、最后修改时间modifiedTime、文件MD5校验值md5Checksum、文件大小size、对象类型mimeType，你只需要调用files.list接口拉取A、B目录下的全量元数据即可，完全不需要读取文件内容
• 若你的同步周期固定，可以在上次同步完成后记录同步时间戳，下次同步时直接过滤A中modifiedTime大于上次同步时间的对象，不需要拉取全量A的元数据，进一步减少API调用量和计算量

边缘场景兼容 #

• 遇到同名不同类型的对象（比如A中是文件夹，B中之前是同名文件），先删除B的对应对象，再按照A的类型复制创建
• 大文件同步优先调用Drive的断点续传接口，避免网络波动导致重复传输全量文件
• 如果需要同步Drive快捷方式，单独判断mimeType为application/vnd.google-apps.shortcut的项，复制对应的指向ID即可

内容的提问来源于stack exchange，提问作者Luk Aron