数据仓库为何要分层

数据仓库是企业级数据分析和决策的基础架构之一。分层是数据仓库架构设计过程中的一个重要步骤，它能为数据仓库的性能、可靠性、灵活性和可维护性带来极大的优化。

为什么要分层

数据仓库是一个大型的数据存储和处理系统，面对着不同的用户群体和应用场景。为了更好地支持这些应用，数据仓库通常采用多层次架构。根据数据处理的目的和频率，通常将数据分为三层。

1. 稳定（存储）层： 这一层的主要任务是存储所有的历史数据，数据被按照时间序列进行存储和管理，方便未来数据的分析。由于数据的入库量大，数据会很大，因此存储层通常被设计成高可扩展性和高容错性的大型存储系统。

2. 速度（加工）层： 这一层的主要任务是将历史数据加工成用户所需要的聚合数据，并且能够在合理的时间内响应用户的查询请求。加工层通常由多台分布式计算服务器组成，可以支持实时或近实时的数据查询。

3. 服务（展示）层： 这一层主要面向业务用户，提供可视化的界面展示加工层的数据。为了提供更好的性能和用户体验，这一层通常采用快速响应的报表工具或大屏幕展示。

如何分层

以下是一个三层数据仓库的实现示例。我们可以使用open-source Star Schema Benchmark (SSB) 数据集进行分层设计验证。

1. 稳定（存储）层

稳定层是整个数据仓库的核心部分，它通常由Hadoop、Spark等大数据处理技术实现。

• 存储介质：无论是HDFS或是S3等，存储层的价值在于大量而无非常快速的数据存储