## 案例介绍 ### 数据中台 CDH 底座迁移某国有大型银行的数据中台，基于 CDH 构建运行已经超过 10 年，在原有架构升级的基础上虽然进行过几次升级，但平台整体的扩展性已经达到瓶颈无法升级，组件版本大多都已经落后当前主流版本 3-5 年，新技术无法在现有平台上进行融合，随着业务部门对数据分析实时性和多样性需求的不断增多，技术部门不得不在原有平台之外陆续搭建其他小平台，久而久之，形成了诸多数据孤岛，数据的统一性无法推广落地，平台价值受到多方质疑。 CDH 全称是 Cloudera's Distribution including Apache Hadoop，是 Cloudera 公司提供的一种大数据平台解决方案，在提供 Hadoop 最新版本的开源组件基础上，同时提供了额外的管理工具和支持服务，可以方便用户进行集群的部署、配置、监控和管理等。CDH 在国内金融、政府、汽车行业有广泛的应用和存量客户，随着国产化信创政策的推动和 CDH 商业化策略的影响，有越来越多的 CDH 平台迁移，技术架构改造，国产化环境部署等项目诉求。

接到平台升级需求后，LAS 团队与客户的业务部门和技术部门进行深入调研和真实环境测试后，发现客户平台存在的问题以及继续解决的痛点： * 使用组件较多，使用 Hadoop 的多个组件，且技术落后或版本较低。 * 节点数量较多，但分散在不同的集群，集群间没有统一的底座和共享功能，数据冗余严重。 * 除了 CDH 提供的平台能力外，客户进行了大量的二次开发以满足一些集成需求。 * 虽然存在离线和实时链路，但两个集群数据割裂，计算和存储都没有实现统一，实现的业务场景非常单一。 * 管控平台的性能多年前已经达到瓶颈，随着数据规模的增长，平台的承载能力已经远超符合，经常出现稳定性问题。 LAS 在管控能力和技术架构上参考了行业上成熟的企业软件，在全面对标 CDH 已有能力的基础上，淘汰替换了性能不佳架构落后的技术组件，更加注重湖仓一体分析能力，快速与企业已有系统对接集成，提供更加易用产品交互。经过 5 个月的平台重构和数据迁移，帮助用户建设两地三个集群，集群间实现联邦能力，帮助客户将原有的 5 份数据合并成 1+1 份，一份数据在数仓支持离线和实时计算，一份数据由业务系统通过消息队列同步至 OLAP 集群实现业务的实时查询分析。经过半年的试运行和一段时间的双跑运行，目前客户已经将历史业务完全迁移至 LAS 平台，并且在通过 DataLeap 的数据同步工具不断的将外部数据源接入到系统中，实现更多部门的数据统一分析。 **迁移过程：**

**迁移后架构：**

湖仓一体分析服务 LAS 私有化