受速率限制下,如何实现向Google Drive的高效数据同步并满足Web UI访问性能要求?
受速率限制下,如何实现向Google Drive的高效数据同步并满足Web UI访问性能要求?
各位好,我来分享下我们团队目前碰到的棘手场景,以及已做的探索和待验证的思路:
我们给一位客户管理着一套应用,对方拥有超过9PB的Google Drive存储空间。这套应用会把数据写入Linux服务器上的一块8TB硬盘,而且这块硬盘需要通过Web UI对外提供访问,还得保证不错的加载速度。但麻烦的是,这块硬盘目前没有任何故障保护机制,客户又不愿意在额外硬件或者其他备份服务上投入成本。
为了给这块硬盘做备份,我们尝试过用rclone结合Google API,以及其他各类同步工具往Google Drive同步数据,但遇到了严重的速率限制——明明我们的公网上行带宽有1Gbps,可往Google上传的速度却被死死卡在5Mbps左右。现在要同步将近3TB的数据,这个速度简直没法接受,光700GB就得花上一个月的时间。
我们已经探索过的方案有这些:
rclone sync及其他同类同步工具:核心问题就是上传速度太慢,完全达不到需求- 通过
rclone在Linux上挂载Google Drive:虽然能访问Drive里的数据,但Web UI的访问速度会被网络性能拖垮,用户体验极差
目前我们正在考虑一个替代思路:
在Linux服务器和Windows服务器之间搭建本地网络链路,把那块8TB的硬盘映射到Windows服务器上,然后借助Google Drive的原生同步能力来完成数据备份(目前还在细化具体实现步骤,看看能不能绕过公网的速率限制)
备注:内容来源于stack exchange,提问作者Granwille




