Node.js类环境下百万级Cloudflare日志数据处理优化问询

关于临时JSON文件方案的有效性 #

这个方案完全能提升运行速度，还能解决内存卡顿问题。

核心原因是：你之前把所有API返回的100万条数据存在内存数组里，会持续占用大量内存，触发频繁的GC（垃圾回收），导致运行变慢、电脑卡顿。换成每次请求后直接写入临时文件，内存里只保留单批次API的少量数据，写完就释放，内存占用会大幅降低，GC压力骤减，电脑自然不会卡顿。

如果想进一步优化，建议不要用JSON数组格式存储，改用NDJSON（每行一个JSON对象）：

• 写入时：遍历API返回的每个日志对象，转成字符串后加换行符写入文件，不用把整个数组序列化。
• 读取时：可以逐行读取解析，不用一次性加载整个文件到内存，处理更灵活高效。

Node.js/Deno环境通用优化策略 #

1. 异步并发拉取API #

串行循环调用API速度慢，可通过并发控制加快数据获取：

• 限制同时发起的API请求数（比如5-10个，需符合Cloudflare的API速率限制），避免被限流。
• Deno可结合Promise.allSettled实现分批并发；Node.js可用p-limit库，或自己手写简单的并发池。

2. 流式处理代替全量加载 #

不管是写入还是读取数据，都用流式操作：

• 写入：Deno用Deno.open创建文件句柄，通过write方法流式写入；Node.js用fs.createWriteStream，避免一次性写入大段数据。
• 读取：处理日志时，用Deno的readLines或Node.js的readline模块逐行读取NDJSON文件，边读边过滤，处理完一行就释放对应内存。

3. 内存细节优化 #

• 每次API请求完成并写入文件后，立即将响应数组赋值为null，让JS引擎及时回收这部分内存。
• 过滤逻辑尽量简化，避免在循环中创建复杂对象，减少内存占用。

4. 多线程并行处理 #

如果过滤逻辑复杂，可利用Worker线程拆分任务：

• Deno原生支持Worker，可将单个临时文件的过滤任务交给独立Worker处理，主线程只负责调度，避免阻塞。
• Node.js用worker_threads模块，实现类似的并行处理，提升整体处理速度。

内容的提问来源于stack exchange，提问作者Ammar Ahmed