RTX2060是否可混合调用Tensor Core与CUDA Core加速代码运行？

你提出的RTX 2060混合调用Tensor Core与CUDA Core的方案完全可行，两类计算单元不存在硬件层面的互斥限制，本身就支持协同调度。

底层硬件逻辑 #

• Tensor Core不是独立于CUDA Core的外置计算单元，它是图灵SM（流多处理器）内部集成的专用矩阵运算硬件，和同SM内的CUDA Core共享寄存器、共享内存、Warp调度资源，从设计之初就是为了和CUDA Core配合工作的：当提交的指令匹配Tensor Core的执行要求时，SM调度器会自动把这部分指令派发到Tensor Core执行，其余通用计算、逻辑控制、非矩阵类运算指令会直接派发到CUDA Core处理，不需要手动做硬件级的资源切分。
• RTX 2060搭载的第一代Tensor Core支持的运算场景有明确限制，不是什么代码都能往上跑：原生仅支持FP16/INT8/INT4精度的矩阵乘加指令，要求矩阵分块维度匹配对应精度下的固定规格（比如FP16场景要求16x16x16的矩阵块），不符合要求的任务根本无法调度到Tensor Core，会默认由CUDA Core执行。

实际落地方法 #

• 如果是用PyTorch、TensorFlow这类高层深度学习框架：开启自动混合精度（AMP）之后，框架默认就会走混合调度逻辑——卷积、全连接这类符合Tensor Core要求的矩阵算子会自动调用Tensor Core加速，其余自定义算子、逐元素运算、逻辑判断类代码会自动走CUDA Core，不需要手动拆分任务。
• 如果是写原生CUDA代码：你既可以在同一个Kernel里同时嵌入调用Tensor Core的WMMA API代码段、以及跑在CUDA Core上的通用计算代码，由调度器自动分配执行单元；也可以把任务拆分到不同CUDA流，一个流提交适配Tensor Core的矩阵运算任务，另一个流提交CUDA Core负责的通用计算任务，两类任务可以在GPU上并行执行，进一步隐藏运算延迟。

性能优化提醒 #

• 不要为了“用上Tensor Core”强行适配：如果把原本高精度、不符合矩阵分块要求的任务强行转成Tensor Core支持的格式，带来的精度损失、内存格式转换开销，很可能超过Tensor Core带来的加速收益，反而拖慢整体速度。
• RTX 2060的Tensor Core规模有限，不要对其加速比抱过高预期：只有当代码里存在大量符合要求的密集矩阵运算时，混合调度才能拿到明显的性能提升；如果代码以逻辑判断、逐元素运算、不规则内存访问为主，Tensor Core基本不会参与运算，整体性能还是由CUDA Core的表现决定。

内容的提问来源于stack exchange，提问作者user17271389