torch.matmul的实现位置在哪？尤其是GPU运行对应的代码部分

为什么直接grep无法搜到对应实现 #

PyTorch的绝大多数Python前端API都是通过代码生成机制自动生成绑定的，torch.matmul属于典型的自动生成接口，直接搜索def matmul或者torch.matmul字符串自然无法匹配到核心实现代码。

具体实现路径梳理 #

• 第一步先找算子声明：所有算子的元信息定义在aten/src/ATen/native/native_functions.yaml中，直接搜索matmul关键字就能找到对应的声明条目，这里定义了算子的入参规则、返回值类型、后端分发逻辑，PyTorch的代码生成脚本就是基于这个文件自动生成Python层的API绑定。
• 第二步看通用分发逻辑：自动生成的绑定会调用ATen层的分发逻辑，你可以在aten/src/ATen/core/opschema/matmul.cpp找到算子的schema定义，通用CPU侧的基础实现逻辑存放在aten/src/ATen/native/LinearAlgebra.cpp中。
• 第三步定位GPU侧实现：
  • 常规浮点类型的矩阵乘法默认调用cuBLAS库实现，对应的封装代码在aten/src/ATen/native/cuda/Blas.cpp中，搜索matmul相关的调用链路就能找到cuBLAS的适配逻辑。
  • 特殊场景的定制化CUDA kernel（比如稀疏矩阵乘、半精度/INT8低精度矩阵乘、WMMA优化实现）可以在aten/src/ATen/native/cuda/目录下搜索MatMul关键字查找，WMMA相关的优化实现单独放在同目录的wmma/子目录下。

如果需要确认实际运行时调用的具体函数，可以给PyTorch编译时加上调试符号，运行时用cuda-gdb打对应算子的断点就能直接跳转到执行的代码段。

内容的提问来源于stack exchange，提问作者MWB