CPU上PyTorch矩阵运算效率优化：LibTorch算子融合技术问询

问题列表 #

• 在CPU环境中，能否通过C++与LibTorch实现类似CUDA的算子融合操作，以此减少内存传输、避免中间数据分配来提升性能？
• 我的理解：PyTorch已经通过CPU专用向量化原语与库实现了高效的单算子计算，但连续多算子的代码未必经过优化，这个理解是否正确？
• 直接使用AVX等CPU intrinsics进行优化是否有实际意义？
• 在CPU上运行PyTorch代码时，避免缓存-内存传输能带来多大的性能提升？
• 我尝试过用@torch.compile将运算融合为单图，但代码中存在张量形状动态变化的情况（比如b[:, i:]，其中i在每次迭代中递增），导致无法有效融合。针对如下示例代码，如何避免创建中间张量c，直接将计算结果写入e并从d中减去？

示例代码 #

b = torch.rand((3072, 128))
d = torch.rand((3072, 128))
e = torch.rand((3072, 128))
for i in range(10):                # 10 = number of rows in a matrix A
    a = torch.rand((3072, 1))      # calculated from i-th row in A
    c = a.matmul(b[i, i:].unsqueeze(0))
    d[:, i:] -= c
    e[:, i:] = c

内容的提问来源于stack exchange，提问作者Green 绿色