如何用ComputeSharp计算着色器在GPU运行大权重规模神经网络？

一、权重存储与连接构建方案 #

针对ComputeSharp计算着色器的限制，可通过以下方式构建全连接权重：

• 使用结构化缓冲区替代纹理存储权重
  放弃Texture2D/3D，改用ComputeSharp支持的StructuredBuffer<float>或ReadOnlyStructuredBuffer<float>。这类缓冲区无轴长限制，可直接存储大规模连续权重数组。
  权重按输出神经元维度连续组织：假设当前层有outputCount个神经元，前一层有inputCount个神经元，权重缓冲区总长度为outputCount * inputCount。第i个输出神经元的所有输入权重，对应缓冲区中从i * inputCount到(i+1)*inputCount - 1的连续区间。
  计算时，每个线程负责一个输出神经元，通过线程索引直接定位权重起始位置：

  // 计算着色器内示例代码
  [ThreadGroupSize(64, 1, 1)]
  public readonly struct ComputeKernel : IComputeShader
  {
      public readonly ReadOnlyStructuredBuffer<float> Inputs;
      public readonly ReadOnlyStructuredBuffer<float> Weights;
      public readonly StructuredBuffer<float> Outputs;
      public readonly int InputCount;
  
      public void Execute()
      {
          int outputIndex = ThreadIds.X;
          if (outputIndex >= Outputs.Length) return;
  
          float sum = 0;
          int weightStart = outputIndex * InputCount;
          for (int i = 0; i < InputCount; i++)
          {
              sum += Inputs[i] * Weights[weightStart + i];
          }
          Outputs[outputIndex] = sum; // 可添加激活函数
      }
  }
  

• 超大规模权重的分块处理
  若单块缓冲区超出GPU显存上限，可将权重按输出神经元分组拆分。比如1000个输出神经元拆为10组，每组100个，对应10个独立的结构化缓冲区。计算时按组调度线程，依次处理每组的输出神经元，最后合并结果。

• 动态层结构的参数传递
  针对可变的层数、神经元数量，将这些参数封装到ConstantBuffer中传入着色器。例如定义包含各层神经元数量的结构体，着色器内根据当前处理的层索引，动态获取输入/输出神经元数，计算权重偏移与输入数据范围。

二、计算着色器的适用性判断 #

计算着色器非常适合此类全连接进化神经网络场景，核心原因：

• 全连接层的加权求和是天然的并行计算任务，每个输出神经元的计算完全独立，可被GPU的海量线程并行执行，效率远高于CPU串行计算。
• ComputeSharp的结构化缓冲区完美适配大规模权重存储，避开了纹理的尺寸限制。
• 进化神经网络的权重更新（遗传算法的交叉、变异操作）也可通过计算着色器并行完成，进一步提升整体训练效率。

仅当你的场景存在大量动态稀疏连接（非全连接）时，才需要额外的稀疏存储优化，但当前全连接场景下，计算着色器是高效且合适的选择。

内容的提问来源于stack exchange，提问作者Wes