未启用Event Hubs Capture时访问Azure Event Hub留存历史数据的方法

结论 #

可以查询导出，只要目标数据仍在你设置的5天留存窗口期内，不需要开启Event Hubs Capture功能也能完成操作。
Event Hub的留存期配置作用是将消息数据完整保存在分区的顺序日志中，到期才会自动清理，Capture功能只是官方提供的自动异步导出日志到存储的附加能力，和你自行读取历史数据的权限无关。

可用实现方案 #

• 自定义代码消费导出
  你可以使用微软官方提供的任意语言版本的Event Hub SDK（支持C#、Java、Python、Go、JavaScript等），消费时指定历史时间戳、消息序列数或者偏移量作为消费起始位置，从指定位置开始拉取所有符合时间范围的历史消息，消费后自行写入本地文件、数据库或其他存储介质即可完成导出。建议单独创建专用的消费者组执行该操作，避免占用默认消费者组的位点影响现有业务的实时消费。
• 无代码方式导出
  你可以直接创建Azure Stream Analytics作业，将作业输入源配置为目标Event Hub，在查询逻辑中指定你需要筛选的历史数据时间范围，输出源配置为Blob存储、SQL数据库等你需要的存储位置，启动作业后即可自动拉取留存期内的对应数据导出到目标位置，无需自行编写代码。
• 命令行工具导出
  可以使用Azure CLI相关命令，或者第三方开源的Event Hub命令行消费工具，指定消费起始时间参数，直接拉取对应时段的历史数据导出为本地文件。

注意事项 #

• 必须确认你要导出的消息生成时间与当前时间的间隔小于5天，超出留存期的消息已经被Event Hub后台自动清理，无法再被读取。
• 消费历史数据时建议控制消费速度，避免触发Event Hub的吞吐量配额限制，影响线上正常运行的实时IoT数据流消费业务。
• Event Hub的消息按分区独立存储，需要覆盖所有分区消费才能导出全量的历史数据。

内容的提问来源于stack exchange，提问作者Mist