多ZFS存储服务器下的用户图片/视频上传方案选型咨询

Hey Martin, let's cut straight to the chase based on your core requirement: 简洁易维护—we can rule out the overly complex options first, then dive into why the best fit aligns perfectly with your existing infrastructure.

先快速复盘你的现有优势 #

你已经手握一套省心的基础架构：

• 异地ZFS镜像存储（自带配额/预留能力，不用额外开发容量管控逻辑）
• Galera集群（用户账号数据全同步，天然支持跨节点的用户映射）
• Go/PHP应用栈（灵活实现轻量的节点分配逻辑）

逐个拆解方案的适配性 #

方案1：SFTP/FTPS（ProFTPD/Pure-FTPs）

• 痛点直击：防火墙配置的繁琐程度在异地节点场景下会翻倍，ProFTPD的虚拟用户配置很容易踩坑（比如权限继承、ZFS配额映射的兼容性问题）。而且Web GUI上传还要额外做适配，相当于维护两套上传逻辑，完全不符合“简洁”的目标。直接排除。

方案2：NFS/CIFS挂载+tus断点续传

• 核心问题：主Web服务器会成为上传流量的单点瓶颈，异地节点的NFS/CIFS延迟会拖慢上传体验，还要手动维护用户到存储节点的分配——这部分手动操作不仅容易出错，后期扩容也会变得非常麻烦。排除。

方案3：存储节点部署Web上传组件，用户直传分配节点

这是最契合你需求的方案，理由如下：

• 彻底规避主Web服务器瓶颈：用户上传流量直接走存储节点，主应用只负责“告诉用户该传哪个节点”，逻辑极轻，不会成为性能瓶颈
• 复用现有ZFS优势：每个存储节点的ZFS配额/预留可以直接和用户账号绑定（从Galera拿用户数据做校验），不用额外开发存储管控逻辑
• 维护成本可控：
  • 上传组件可以用轻量实现（比如Go写个简单的分片上传服务，或者PHP用现成的tus协议库），用Ansible/SaltStack批量部署到所有存储节点，确保配置一致
  • 节点分配逻辑很简单：比如按用户ID哈希固定分配，或者从Galera读节点负载数据动态分配，Go/PHP都能快速实现
• 断点续传支持：前端直接和存储节点的上传组件对接tus协议，不用经过主应用，逻辑独立清晰

方案4：GlusterFS存储集群

• 冗余复杂度：你已经有ZFS镜像存储了，再套GlusterFS属于多此一举——GlusterFS本身需要维护集群同步、异地节点网络分区问题，反而增加了运维负担。而且主Web服务器还是上传瓶颈，完全没必要。排除。

额外优化小建议 #

1. 给存储节点的上传组件加个简单的身份校验：用Galera同步的用户token做验证，确保只有合法用户能上传到对应节点
2. 批量维护存储节点：用自动化工具统一更新上传组件版本、配置ZFS配额规则，避免手动操作的失误
3. 监控补充：给每个存储节点的上传服务加基础监控（比如上传成功率、节点磁盘使用率），方便快速排查问题

内容的提问来源于stack exchange，提问作者Martin