是否应将Azure Synapse主存储用作数据湖?或使用独立ADLSGEN2账户?
Azure Synapse主存储账户与数据湖部署建议
不建议使用主存储账户构建数据湖
Synapse工作区的主存储账户是系统核心依赖,默认会在指定容器下生成/synapse/workspacename文件夹,用于存储Spark表数据、Spark应用日志等系统级内容。若将业务数据湖部署在此,会引发以下问题:- 业务数据与Synapse系统数据混杂,增加数据分类管理难度,权限配置时易误操作影响系统文件
- 后续工作区迁移、重建等操作时,系统数据与业务数据绑定,会提升操作复杂度,甚至存在业务数据丢失风险
建议额外部署独立的ADLS Gen2账户作为数据湖
独立的存储账户可专门承载业务数据湖的全链路数据(原始数据、清洗后数据、分析结果等),与主存储的系统数据完全隔离,优势如下:- 权限管控更清晰:可针对业务数据单独配置RBAC权限、ACL规则,不干扰Synapse系统操作权限
- 数据生命周期管理更灵活:能为业务数据设置独立的存储层级(冷存储、归档存储)和过期策略,不受系统日志存储策略限制
- 扩展性更强:业务数据量增长时,可独立扩容或调整存储配置,无需受主存储的约束
内容的提问来源于stack exchange,提问作者jaysc
相关产品推荐
相关产品推荐

