ARM平台图像滤波场景下Cache blocking无性能增益的原因分析
核心结论
Cache blocking的经典原理设计并未排斥硬件预取机制,你遇到的性能无差异现象,本质是当前测试场景刚好让硬件预取完全覆盖了传统遍历实现的所有L1缓存漏洞,分块优化减少的缓存缺失全部是非阻塞的预取填充,并未换来实际的流水线停顿减少。
性能指标背后的真实逻辑
你采集的两组硬件计数器,已经直接暴露了无收益的核心原因:
- 传统实现的
L1D_CACHE_REFILL计数比分块实现高47%,对应的PREFETCH_LINEFILL计数也刚好高52%,两者涨幅几乎完全匹配。这说明分块算法减少的那部分L1缓存缺失,根本不是“CPU空等数据的阻塞式缺失”,而是原本由硬件预取器主动发起的后台填充操作。 - Cortex-A53配备的流预取器对逐行连续的线性访问有极高的跟踪精度,会顺着逐像素扫描的访问方向,提前16~32条Cache Line的距离把数据从L2预读到L1,完全不需要等CPU触发缺失再去下层存储取数。
你原本的容量估算为什么没有得到预期效果
你推导的“传统实现会重复加载邻域数据”的场景,实际被预取机制消解了:
- 按12000宽的8位灰度图计算,单张图像一行占12KB,5行卷积邻域总数据量60KB,确实超过32KB L1的总容量。但卷积的邻域窗口是随遍历方向逐像素滑动的:处理到某一行的右侧像素时,窗口左侧早已被处理过的邻域数据会自然被换出L1,刚好给预取器拉进来的下一行新数据腾出位置,全程没有出现“算到行尾需要回头取行首邻域数据、发现数据早已被逐出缓存”的场景——因为滑动窗口覆盖的所有数据,都是预取器沿着访问流提前准备好的。
- 你选择的512x512分块尺寸,实际数据驻留位置和传统遍历没有区别:5x5卷积的分块需要加载块本身+四周各2像素的邻域,总数据量约270KB,已经超过Cortex-A53的256KB L2总容量。也就是说分块实现并没有把数据优化到更小的L1层级,最终所有数据还是从L2往上加载,和传统遍历的加载路径完全一致。
关于Cache blocking与硬件预取的关系
Cache blocking的经典教学场景,针对的本来就是硬件预取器无法高效跟踪的非规整访问模式:比如矩阵乘法列遍历行存储的跨度访问、卷积操作中跨大跨步的权重/像素访问,这类场景下预取器抓不到稳定的访问流,所有缓存缺失都是会阻塞流水线的硬性缺失,切分块把数据塞进缓存才能拿到真实收益。
- 而你当前测试的逐行扫图像场景,是硬件预取器最擅长处理的理想连续流访问,哪怕L1容量装不下完整的卷积邻域,预取器也能通过动态接力实现接近全L1命中的效果。这时候分块优化减少的只是非阻塞的预取流量,根本换不来流水线停顿的减少,自然测不出性能差异。
可快速验证的调整方向
如果想测出分块优化的真实收益,可以做两个简单修改:
- 把分块尺寸从512x512缩到128x128,此时单块加邻域的总数据量约660B,32KB L1可以同时驻留数十个块的计算数据,此时再观测
CYCLES_L1D_REFILL_STALL事件的计数差,就能看到明显的性能差。 - 刻意打破访问流的连续性,比如隔行读取图像像素,让硬件预取器无法跟踪访问规律,此时分块实现减少的阻塞式缓存缺失,就会直接体现为运行时长的下降。
内容的提问来源于stack exchange,提问作者Da Teng
相关产品推荐
相关产品推荐

