如何配置Orion-QL订阅实现Quantum Leap批量采集数据写入CrateDB

你描述的5秒批量采集传感器数据后写入CrateDB的需求完全可以通过Orion订阅的节流配置结合Quantum Leap（QL）的批量写入能力实现，无需额外开发自定义逻辑。

Orion上下文代理的订阅机制原生支持throttling节流参数，可配置两次通知的最小时间间隔，间隔期间所有符合订阅规则的实体数据变更会被Orion累积缓存，间隔结束后一次性批量推送给QL。QL收到批量通知后，会自动将整批数据合并写入CrateDB，完全匹配你需要的每5秒处理500条数据的诉求。

• 前置版本校验：确保你部署的Orion版本≥2.4.0，Quantum Leap版本≥0.8.0，这两个版本开始完整支持批量通知和批量写入优化，低版本可能出现参数不识别、批量拆分异常的问题。
• 创建带节流配置的Orion-QL订阅：调用Orion的POST /v2/subscriptions接口创建订阅，核心配置throttling参数为5，示例请求Payload如下：

{
  "description": "5秒批量推送传感器数据到Quantum Leap",
  "subject": {
    "entities": [
      {
        "idPattern": ".*",
        "type": "SensorDevice"
      }
    ],
    "condition": {
      "attrs": ["temperature", "humidity", "voltage"] // 替换为你实际需要采集的传感器属性列表
    }
  },
  "notification": {
    "http": {
      "url": "http://<你的QL服务地址>:8668/v2/notify"
    },
    "attrsFormat": "normalized",
    "onlyChangedAttrs": false, // 按需调整，若只需推送变更属性可设为true
    "throttling": 5 // 核心节流参数，单位为秒，即每5秒推送一次累积的所有数据
  },
  "expires": "2030-12-31T23:59:59.00Z" // 订阅有效期按需调整
}

• 配置QL批量写入参数：在QL的环境变量中添加以下配置，确保整批数据一次性写入CrateDB，无需拆分：
  • CRATE_BATCH_SIZE=1000：设置单批写入CrateDB的最大条数，大于你单批500条的量级即可，避免批量数据被拆分多次写入
  • CRATE_BATCH_TIMEOUT=1：单位为秒，设置批量写入的等待超时时间，避免小批次数据长时间等待
• 效果验证：上报测试传感器数据后，可查看CrateDB对应数据表的receipt_time字段，确认数据是每5秒批量写入；也可查看QL服务日志，确认单次通知处理的数据量级在500条左右。

• 如果你的传感器数据上报量存在波动，峰值每秒超过100条，可在订阅的notification配置中添加maxBufferSize参数，设置单批通知的最大数据条数，比如设为1000，若5秒内累积数据超过1000条，Orion会提前触发推送，避免单包过大导致服务超时。
• 不建议将throttling参数设置超过10秒，若Orion服务意外重启，缓冲区中未推送的累积数据可能丢失，生产环境建议开启Orion的持久化订阅配置避免数据丢失。
• 如果你需要QL主动拉取而不是Orion推送的模式，也可调用QL的GET /v2/entities接口，配合fromDate、toDate时间范围参数拉取指定5秒跨度的数据后再批量写入，但订阅节流模式的性能和实时性更优，适合长期运行的传感器数据采集场景。

内容的提问来源于stack exchange，提问作者snkly