Node.js中是否存在Cache Miss？如何复现及规避相关问题？

嘿，咱们一步步拆解你的问题，把Cache Miss的来龙去脉讲清楚～

一、Cache Miss 涉及的数据类型是什么？ #

首先明确：Cache Miss针对的不是特定的数据类型，而是内存中的数据块。这里说的缓存通常指CPU的L1/L2/L3缓存，它们会把主存中连续的字节块（称为「缓存行」，通常是64字节）加载进来，方便CPU快速访问。不管你操作的是数值、字符串、对象的底层内存，还是Buffer数据，只要访问的内存地址对应的缓存行不在CPU缓存里，就会触发Cache Miss，进而不得不从主存加载数据，产生更高延迟。

二、你的测试代码就是典型的Cache Miss复现场景 #

先看你提供的代码，核心就是通过两种数组遍历方式，对比Cache Hit和Cache Miss的性能差异：

/* Array.prototype.flat polyfill */
Array.prototype.flat = function() {
 return this.reduce((a, v) => Array.isArray(v)? a.concat(v.flat()) : a.concat(v), []);
};
/* Cache test */
const len = 100;
const generateArr = (len) => {
 const mat = [...new Array(len)].map(() => [...new Array(len)].map(() => Math.round(Math.random() * 10)) );
 return new Uint8Array(mat.flat(Infinity))
};
const arr = generateArr(len)
/* {1, 2, 3, 4, 5, 6, 7, 8, 9, n} */
const testFriendly = () => {
 let total=0;
 for (let x=0;x!=len;x+=10) {
 for (let y=0;y!=10;y++) {
 total+=arr[x+y];
 }
 }
};
/* {0, 10, 20, 30, 40, 50, 60, 70, 80, 90, 1, 11, 12, n}*/
const testUnfriendly = () => {
 let total=0;
 for (let y=0;y!=10;y++) {
 for (let x=0;x!=len;x+=10) {
 total+=arr[x+y];
 }
 }
};
const test = () => {
 console.time("Cache-friendly");
 for (let i=0; i!=7000; i++) {
 testFriendly();
 }
 console.timeEnd("Cache-friendly");
 console.time("Cache-unfriendly");
 for (let i=0; i!=7000; i++) {
 testUnfriendly();
 }
 console.timeEnd("Cache-unfriendly");
};
test()
test()
test()
test()

这里的关键是arr是连续存储的Uint8Array：

• testFriendly是连续内存访问：按顺序读取0-9、10-19...90-99的连续地址，CPU缓存会自动预加载后续的缓存行，所以几乎都是Cache Hit，速度快。
• testUnfriendly是跳跃式内存访问：读取的地址是0、10、20...90，然后1、11、21...91，每次访问的地址间隔远大于缓存行大小，预加载的缓存行完全没用，每次都要从主存加载新的缓存行——这就是典型的Cache Miss，所以运行速度慢。

你提到“JIT编译完成后，缓存友好型测试通常运行更快，但并非总是如此”，这是因为V8的JIT可能会做一些优化（比如循环展开、常量折叠），但只要内存访问模式是跳跃式的，Cache Miss的本质不会变，性能差异依然会存在。

三、Node.js平台上能触发Cache Miss吗？ #

当然可以！Node.js基于V8引擎，最终会把JavaScript代码编译成机器码执行，和原生C/C++程序一样会与CPU缓存交互。只要你的代码存在非连续内存访问、频繁切换内存区域、大数据量随机访问等情况，就会触发Cache Miss。比如：

• 随机访问大型数组的元素（比如用Math.random()生成索引）
• 遍历嵌套对象时，对象的属性分散存储在堆内存的不同位置
• 使用稀疏数组（底层内存不连续）

四、生产环境中需要规避的Cache Miss反模式 #

以下这些反模式会大概率导致Cache Miss，一定要避免：

• 跳跃式访问连续数组：像你代码里的testUnfriendly那样，打破连续内存访问的模式
• 内存碎片化的对象创建：频繁创建大量小对象，导致V8堆内存碎片化，访问这些对象的属性时，缓存无法有效预加载连续数据
• 跨内存区域的频繁切换：在循环里交替访问两个完全不相关的大型数组/对象集合，导致缓存频繁被冲刷，无法保留常用数据
• 非对齐的数据访问：比如访问Buffer时使用非64字节对齐的偏移量，导致CPU无法高效加载完整的缓存行
• 过度使用闭包导致内存分散：闭包会捕获外部变量，这些变量可能被分散存储在堆的不同区域，访问时增加Cache Miss的概率

内容的提问来源于stack exchange，提问作者Petr Tripolsky