S3中混合数据类型的跨桶数据分层策略方案咨询

当前环境 #

• 热层S3桶存储活跃数据，包含：
  • Iceberg表
  • 非结构化数据

需求 #

将旧/冷数据迁移至独立的冷层S3桶

核心问题 #

【生命周期策略可行性】 #

1. 是否可使用S3生命周期策略在桶间迁移数据，同时保障Iceberg表完整性？
2. 以下操作对Iceberg表有何影响？
   • a. 仅将数据文件移至冷存储？
   • b. 同时迁移数据与元数据文件？

【统一访问层】 #

能否维持所有数据都在热层桶的抽象，查询时自动从冷层获取所需数据？
如何针对以下两类数据实现该目标？

1. 湖仓表（Iceberg）
2. 非结构化数据

【与S3智能分层的对比】 #

已知S3智能分层仅在单个桶内运作，而我的场景需跨桶拆分数据并保持统一访问模式。

期望结果 #

实现一套方案，满足：

1. 数据基于使用模式物理分布在冷热桶中
2. 查询（含Iceberg表查询）可透明执行，系统自动从对应层获取数据

需获取的见解 #

1. 推荐架构模式（如S3 Object Lambda、存储网关、自定义方案）
2. 潜在挑战（如元数据一致性、性能权衡）
3. 处理混合数据类型（结构化/非结构化）的最佳实践

感谢您的时间与专业指导，期待您的建议。

内容的提问来源于stack exchange，提问作者pacman