基于Azure的千辆出租车车队Telematics数据架构设计需求

一、核心架构设计（双链路适配实时+批量上传） #

1. 数据采集层 #

• 实时流传输链路：替换原Event Hub为Azure IoT Hub，它专为设备端数据采集优化，支持设备身份认证、离线缓存，适配出租车移动网络不稳定的场景。车辆传感器直接推送Telematics/位置数据至IoT Hub。
• 批量上传链路：车辆回库后手动下载的数据，通过Azure Data Factory (ADF) 自托管集成运行时，从本地文件服务器推送至Azure Data Lake Storage Gen2 (ADLS Gen2) 的批量数据容器。

2. 数据处理层 #

• 实时数据处理：
  • 用Azure Stream Analytics对接IoT Hub，实时完成三项核心操作：
    • 对敏感字段（如关联司机信息的车辆ID）执行SHA-256哈希处理
    • 将位置数据转换为GeoJSON格式，适配地图展示需求
    • 数据分流：将位置数据推至Azure Cosmos DB（MongoDB API）供实时追踪，将Telematics原始数据写入ADLS Gen2的实时分区目录
• 批量数据处理：
  • 用Azure Synapse Analytics的无服务器SQL池或Spark池，对ADLS Gen2中的批量数据进行：
    • 敏感数据哈希补全
    • 数据清洗、格式标准化
    • 与实时数据合并至按「日期+区域」分区的统一结构化表

3. 数据存储层 #

• ADLS Gen2：作为核心数据湖，分三个独立容器：
  • raw-data：存储原始实时/批量数据，按yyyy/mm/dd/region/分区，启用生命周期管理，自动将超过30天的数据归档至Azure Archive Storage，满足10年留存要求
  • processed-data：存储清洗后的结构化数据，供自助查询和建模使用
  • sensitive-data：存储哈希前的敏感数据（若需留存），启用严格RBAC权限控制，仅授权人员可访问
• Azure Cosmos DB：存储实时位置数据，配置亚太区域副本实现区域隔离，支持低延迟地图查询
• Azure Cache for Redis：缓存高频查询的车辆实时位置，降低Cosmos DB负载，提升地图追踪响应速度

4. 服务与分析层 #

• 自助查询：技术人员通过Azure Synapse Analytics无服务器SQL池，用T-SQL直接查询ADLS Gen2中的结构化数据，无需预加载；搭配Azure Power BI构建自助性能报表
• 实时地图追踪：车队经理通过Power BI地图组件对接Cosmos DB，或用Azure Maps集成位置数据，实现车辆实时位置可视化
• 分析建模：数据科学家用Azure Machine Learning服务，直接读取ADLS Gen2中的10年历史数据构建预防性维护模型；可通过Synapse Spark池完成数据预处理

5. 安全与合规层 #

• 区域隔离：亚太区域的所有存储（ADLS Gen2、Cosmos DB）、计算（Stream Analytics、Synapse）资源均部署在Azure亚太区域（如新加坡、中国东部），确保数据驻留合规
• 敏感数据保护：哈希处理的密钥存储在Azure Key Vault，仅授权服务可访问；在Stream Analytics和Synapse处理阶段强制执行敏感字段哈希
• 权限控制：通过Azure AD RBAC分配角色：
  • 车队经理：仅能访问Cosmos DB位置数据和Power BI报表
  • 技术人员：可访问Synapse无服务器SQL池和processed-data容器
  • 数据科学家：可访问raw-data、processed-data容器及Azure ML服务

二、工具集清单 #

• 数据采集：Azure IoT Hub、Azure Data Factory（自托管集成运行时）
• 数据处理：Azure Stream Analytics、Azure Synapse Analytics（无服务器SQL池/Spark池）
• 数据存储：Azure Data Lake Storage Gen2、Azure Cosmos DB、Azure Archive Storage、Azure Cache for Redis
• 服务与分析：Azure Power BI、Azure Machine Learning、Azure Maps
• 安全合规：Azure Key Vault、Azure AD RBAC

三、假设前提 #

• 车辆传感器支持MQTT/AMQP协议，可直接对接Azure IoT Hub；若不支持，可通过Azure IoT Edge部署边缘网关转换协议
• 批量上传的本地文件格式为CSV/JSON，可通过ADF解析处理
• 哈希处理后的敏感数据无需逆向解密，仅用于数据关联分析
• 车辆实时位置更新频率为1分钟/次，符合Stream Analytics和Cosmos DB的处理能力
• 亚太区域Azure资源部署位置可根据业务合规需求调整

内容的提问来源于stack exchange，提问作者subham das