使用AWS S3与Cassandra作为图片存储的优缺点及选型问题咨询

一、二者作为图片存储的优缺点对比 #

AWS S3 优缺点 #

• 优点：
  • 对象存储原生适配非结构化文件：天生为图片、视频这类非结构化大文件设计，单对象最大支持5TB，不需要拆分文件即可直接存储
  • 成本分层灵活：提供标准存储、低频访问、归档存储等多个存储层级，冷数据可自动降阶，存储成本比Cassandra低30%~70%
  • 内置增值能力：自带CDN集成、图片预处理（缩略图生成、格式转换）、访问权限控制、生命周期规则，不需要额外开发配套逻辑
  • 运维成本极低：全托管服务，不用管集群扩容、副本同步、故障修复，存储容量无上限
• 缺点：
  • 单次访问延迟略高于Cassandra的热数据访问，冷数据取回还需要额外付费并等待响应
  • 海量小文件存储场景下，如果自定义元数据管理逻辑比较复杂，灵活性不如Cassandra
  • 按请求频次计费，热点超高并发场景下可能产生超出预期的成本

Cassandra 优缺点 #

• 优点：
  • 低延迟随机读写：热数据缓存于内存，毫秒级返回结果，适合超高并发的热点图片访问场景
  • 数据模型灵活：可以把图片元数据和二进制内容存在同一张表，一次查询就能拿到全部信息，不需要关联两个存储系统
  • 部署自由度高：不绑定AWS生态，私有部署、跨云部署都支持，数据可控性更高
  • 线性扩容能力强：集群节点扩容一倍，吞吐量几乎可以同步提升一倍
• 缺点：
  • 非结构化大文件存储适配差：官方建议单条记录最大不超过1MB，超过1MB的图片需要拆分存储，额外开发分片、合并逻辑，运维复杂度陡增
  • 存储成本高：为了保障性能需要配置大量内存和SSD，存储同等容量图片的成本是S3的2~5倍
  • 运维难度大：需要专门的技术团队维护集群，处理副本一致性、数据修复、扩容缩容、故障排查等问题
  • 无内置文件管理能力：CDN集成、生命周期管理、图片处理能力都需要额外开发

二、图片分享类应用选型建议 #

绝大多数普通规模的图片分享应用，优先选择AWS S3，只有同时满足以下全部条件才考虑使用Cassandra：

• 平台内存储的绝大多数图片都是小于1MB的小尺寸缩略图、头像类资源
• 对热数据并发访问有极高要求，且延迟要求需达到毫秒级
• 有专门的运维团队可以支撑Cassandra集群的日常维护
• 不想绑定公有云生态，有私有部署的刚性需求

常规图片分享场景下，S3+CDN的组合已经可以覆盖99%的需求，前端访问延迟可以控制在百毫秒级，不需要自行维护存储集群，成本也更低。只需要把图片的元数据（比如上传人、标签、访问权限）存在Cassandra或者关系型数据库即可，不需要把图片二进制内容直接存入Cassandra。

内容的提问来源于stack exchange，提问作者procrastinationmonkey