Caffe框架中ReLU节点split机制是什么？附Blob形状信息

嘿，结合你给出的Blob信息，我来给你拆解下Caffe里ReLU节点的split机制到底是怎么回事～

首先，搞懂Split的本质：逻辑分支而非物理复制 #

在Caffe里，当某一层的输出需要被多个后续层同时作为输入时，框架会自动创建隐式的split节点——就像你看到的ReLU2_ReLU2_0_split_0和ReLU2_ReLU2_0_split_1。这不是真的把ReLU2的输出数据复制了两份，而是做了个逻辑上的分支，底层数据是完全共享同一块内存的。

从你的Blob数据就能直接验证：ReLU2、split_0、split_1的内存占用都是130816，形状也完全一致(1, 64, 1, 2044)——如果是物理复制的话，split分支的内存占用应该翻倍才对，这就实锤了数据共享的特性。

ReLU和Split的关联：自动触发的隐式处理 #

ReLU本身只是个逐元素的激活层，它和split机制没有直接绑定，只是恰好你的ReLU2输出被多个后续层引用了，才触发了这个机制：

• 看你的Blob序列，ReLU2之后接了Pooling1，同时还有另一个没完全显示的层（比如某个卷积层）也把ReLU2作为输入，这时候Caffe就会自动生成这两个split分支，用来分别给这两个后续层提供数据。
• 这些split节点的命名格式是固定的：[源层名]_[源层名]_0_split_[分支索引]，索引从0开始递增。

什么时候会真的复制数据？显式强制Split的情况 #

默认的隐式split是共享内存的，但如果你有特殊需求（比如要修改其中一个分支的数据，又不想影响另一个分支的原始数据），可以在prototxt里显式添加Split层，并设置force_split: true，这时候Caffe才会真正复制一份数据到新的Blob里，内存占用也会相应翻倍。

验证小技巧 #

如果你想确认数据是否真的共享，可以用Caffe的Python接口做个小测试：

import caffe
net = caffe.Net('your_net.prototxt', 'your_model.caffemodel', caffe.TEST)
# 查看内存地址
print(net.blobs['ReLU2'].data_ptr())
print(net.blobs['ReLU2_ReLU2_0_split_0'].data_ptr())
print(net.blobs['ReLU2_ReLU2_0_split_1'].data_ptr())

你会发现这三个地址完全相同，说明它们指向的是同一块内存区域。

内容的提问来源于stack exchange，提问作者Nima