如何为多类设备数据导入任务添加依赖关系?
数据收集与导入流程实现
我这边有一套数据采集导入的流程,跟你分享下具体实现:
我们部署了一批数据收集器,每天会定时从各类设备(比如CPU、内存这类硬件)采集多项指标数据。收集完成后,这些数据会通过一个轻量Web服务提交上来,Web服务再借助EF框架把数据导入到SQL数据库里。
下面是接收到数据后的核心处理代码片段:
var importPayload = JsonConvert.DeserializeObject(payload.ToString(), new JsonSerializerSettings {TypeNameHandling = TypeNameHandling.Auto}); // 将负载转移到另一个线程以快速向调用方返回结果 TypeSwitch.On(importPayload) .Case((List<IDeviceType> x) => { Task.Run(() => { DeviceType.Update(x, sourceName, sourceId, persistInDatabase); }); }) .Case((List<ICpu> x) => { Task.Run(() => { Cpu.Update(x, sourceName, sourceId, persistInDatabase); }); }) // 此处省略其他数据类型的Case分支...
几个关键细节说明:
- 反序列化时启用了
TypeNameHandling.Auto,让Json.NET能根据JSON中的类型元信息,自动把payload反序列化成对应的强类型集合,省去手动判断类型的麻烦 - 用
TypeSwitch做类型分支处理,针对不同的设备数据类型(比如IDeviceType、ICpu列表)调用各自的更新方法,逻辑清晰易扩展 - 借助
Task.Run把实际的数据库更新操作放到后台线程执行,这样Web服务可以立刻给调用方返回响应,不用等待数据导入完成,能有效提升接口响应速度
内容的提问来源于stack exchange,提问作者Jan
相关产品推荐
相关产品推荐

