You need to enable JavaScript to run this app.
最新活动
大模型
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们

受速率限制下,如何实现向Google Drive的高效数据同步并满足Web UI访问性能要求?

受速率限制下,如何实现向Google Drive的高效数据同步并满足Web UI访问性能要求?

各位好,我来分享下我们团队目前碰到的棘手场景,以及已做的探索和待验证的思路:

我们给一位客户管理着一套应用,对方拥有超过9PB的Google Drive存储空间。这套应用会把数据写入Linux服务器上的一块8TB硬盘,而且这块硬盘需要通过Web UI对外提供访问,还得保证不错的加载速度。但麻烦的是,这块硬盘目前没有任何故障保护机制,客户又不愿意在额外硬件或者其他备份服务上投入成本。

为了给这块硬盘做备份,我们尝试过用rclone结合Google API,以及其他各类同步工具往Google Drive同步数据,但遇到了严重的速率限制——明明我们的公网上行带宽有1Gbps,可往Google上传的速度却被死死卡在5Mbps左右。现在要同步将近3TB的数据,这个速度简直没法接受,光700GB就得花上一个月的时间。

我们已经探索过的方案有这些:

  • rclone sync及其他同类同步工具:核心问题就是上传速度太慢,完全达不到需求
  • 通过rclone在Linux上挂载Google Drive:虽然能访问Drive里的数据,但Web UI的访问速度会被网络性能拖垮,用户体验极差

目前我们正在考虑一个替代思路:
在Linux服务器和Windows服务器之间搭建本地网络链路,把那块8TB的硬盘映射到Windows服务器上,然后借助Google Drive的原生同步能力来完成数据备份(目前还在细化具体实现步骤,看看能不能绕过公网的速率限制)

备注:内容来源于stack exchange,提问作者Granwille

火山引擎 最新活动