PyTorch Tensor源码组织方式及TypeScript移植技术问询

PyTorch的Python层Tensor类并非纯Python实现，你找不到tensor.py核心逻辑的原因是它的运算核心都在C++/CUDA层，Python接口是通过自动生成的绑定代码实现的。以下是关键文件和模块的说明：

1. Python侧Tensor入口 #

• torch/tensor.py：这个文件实际存在，但里面只有少量辅助方法和类型注解，核心操作全是调用底层C++接口。
• torch/_C/_TensorBase.py：自动生成的绑定代码，Python的torch.Tensor类继承自这里的_TensorBase，但这只是个对外的壳子，真正逻辑在C++层。

2. C++核心Tensor实现 #

• torch/csrc/api/include/torch/tensor.h：C++层Tensor类的声明，定义了Tensor的基础结构和方法接口。
• torch/csrc/api/src/tensor/*.cpp：C++层Tensor类的实现代码，处理Tensor的基础操作和设备调度逻辑。

3. 算子（如sum）的具体实现 #

像sum这类运算算子，实现分散在PyTorch底层的ATen库中，关键文件包括：

• 算子注册与绑定：torch/csrc/autograd/generated/Functions.cpp / Functions.h：自动生成的代码，负责把Python侧的tensor.sum()调用映射到底层C++算子。
• CPU设备实现：aten/src/ATen/native/cpu/ReduceOpsKernel.cpp：CPU上sum运算的具体逻辑。
• CUDA设备实现：aten/src/ATen/native/cuda/ReduceOpsKernel.cu：CUDA GPU上sum运算的实现。
• 算子调度逻辑：aten/src/ATen/native/ReduceOps.h：定义sum这类归约算子的通用逻辑，会根据当前设备（CPU/CUDA等）自动分发到对应的实现。

4. 动态绑定生成逻辑 #

Python侧的Tensor方法（比如sum）是通过脚本自动生成的，比如torch/csrc/gen_python_functions.py这类工具，会从C++的算子定义自动生成对应的Python绑定方法，所以你在Python的Tensor类源码里看不到sum的直接实现——它是运行时动态添加到类上的。

内容的提问来源于stack exchange，提问作者Lance Pollard