Databricks多ADLS2挂载及湖仓多环境搭建最佳实践咨询

核心隔离原则 #

不管选哪种存储部署方案，多环境建设的核心目标是四个：

• 测试、开发作业绝对不会误写入生产数据
• 权限边界清晰，不同角色的人员只能访问对应环境的资源
• 生产环境的稳定性、数据安全性不受开发测试动作影响
• 各环境配置尽量保持一致，避免作业从DEV迁到PROD时出现环境差异导致的报错

ADLS2 部署方案选择 #

不存在绝对通用的正确方案，根据团队规模、合规要求选择即可：

方案1：单ADLS2实例多容器隔离（中小团队首选） #

不需要为三个环境单独部署独立ADLS2实例，在同一个实例下创建3个独立的Container分别映射DEV/TEST/PROD环境，做好以下隔离配置即可满足绝大多数场景要求：

• 权限双层管控：先用Azure RBAC给不同身份分配对应Container的基础权限，再用ADLS2的POSIX ACL做细粒度的目录权限控制，普通开发人员默认没有PROD Container的任何权限，PROD Container的写权限只开放给生产调度专用的服务主体
• 存储策略差异化：PROD Container开启异地冗余、软删除、不可变存储、客户管理密钥加密，DEV/TEST Container用本地冗余存储即可，关闭不必要的安全特性降低成本
• 网络隔离：给PROD Container配置VNet访问规则，只允许PROD子网的Databricks工作区访问，DEV/TEST Container可以放开到办公网段方便开发调试
• 这个方案的优势是部署简单、成本低，跨环境同步脱敏测试样本不需要跨实例拷贝，运维压力小，适合20人以下的数据团队、没有强金融级合规要求的业务场景。

方案2：独立ADLS2实例物理隔离（强合规/大团队首选） #

DEV/TEST/PROD三个环境分别部署完全独立的ADLS2实例，从物理层面做资源隔离：

• 完全避免因为权限配置错误、路径写错导致的生产数据误删、误改问题，PROD实例可以单独配置审计日志、安全告警，满足等保、金融监管的合规要求
• 成本可以直接按实例拆分到不同环境的预算，不需要做目录级的成本分账，适合多部门共用云账号的中大型企业
• 注意跨环境同步数据必须走专门的脱敏同步管道，禁止直接给开发人员开放PROD实例的访问权限

Databricks 多ADLS2实例挂载说明 #

Databricks完全支持同时挂载多个ADLS2实例，没有挂载数量的硬限制：

• 既可以通过DBFS挂载的方式把不同ADLS2实例映射到DBFS路径下，也可以直接在代码里写ABFSS路径访问，两种方式都支持为不同实例配置独立的服务主体凭证，权限互不打通。如果使用Databricks Unity Catalog做元数据管理，可以直接把不同ADLS2实例作为外部存储位置注册到对应环境的catalog里，权限管控比手动挂载更严谨。
• 建议统一挂载路径命名规范，比如分别挂载到/mnt/adls2_dev、/mnt/adls2_test、/mnt/adls2_prod，避免作业代码里写路径时混淆环境
• 最佳实践是从工作区层面做隔离：DEV Databricks工作区只挂载DEV环境的ADLS2实例，TEST工作区只挂TEST实例，PROD工作区只挂PROD实例，从根源上避免开发作业误连生产存储

Delta Lake 场景专属配置建议 #

• 差异化配置Delta表属性：PROD环境的Delta表日志保留30天以上，支持时间旅行回滚、故障恢复，DEV/TEST环境日志保留7天即可，定期执行VACUUM清理无效文件节省存储
• 禁止跨环境直接读写Delta表，哪怕是同实例下的不同Container，也不要在DEV作业里直接读取PROD的Delta表，测试需要的样本数据必须经过脱敏后通过同步管道导入DEV/TEST环境
• 三个环境的Delta优化作业（OPTIMIZE、ZORDER、VACUUM）配置独立的调度任务，不要用测试作业触发生产表的维护操作

内容的提问来源于stack exchange，提问作者Valkyrja.Kara