如何将Azure IoT数据传输至Azure Gen2并按类型分发至不同存储文件夹

核心实现方式 #

• 方案1：IoT Hub消息路由动态路径（适用于仅原始数据分类存储场景）
  直接修改现有IoT Hub到ADLS Gen2的路由终结点配置，开启动态blob路径功能，根据消息携带的属性（系统属性/自定义上报属性）拼接存储路径，可直接将不同类型的原始消息分别路由到raw/{数据类型字段}/{时间分区}的目标路径下，无需额外服务部署。路径中的动态变量用{}包裹，内置系统属性、自定义应用属性都可以作为变量调用。
• 方案2：搭配流分析服务实现「原始+转换后」多路径存储
  如果你需要同时存储原始数据和处理后的数据，推荐新增Azure流分析服务作为中间处理层：
  1. 将IoT Hub设置为流分析的输入源
  2. 编写多分支查询逻辑：一路直接透传原始数据，一路执行清洗、格式转换、字段补全等处理逻辑，其他特殊类型数据单独写分支判断
  3. 配置多个ADLS Gen2输出终结点，分别对应raw、transform以及其他自定义目标文件夹，也可以在输出路径前缀中添加动态变量实现更细粒度的分区存储。

配置关键校验点 #

• 确认ADLS Gen2已经开启分层命名空间，否则动态路径的多级目录创建会失败
• 消息路由的动态路径总长度不能超过256字符，时间分区默认使用UTC时间，可根据业务需要调整时区偏移量
• 若使用流分析输出，可根据下游业务需求指定存储格式为JSON、Parquet、CSV等，同时可配置文件滚动周期避免生成大量小文件。

内容的提问来源于stack exchange，提问作者Anuj gupta