Metal着色器语言中如何编写地址空间泛型的传引用函数？

我正在为Metal计算着色器编写一个Foo类，希望用户能对任意地址空间的Foo实例执行加法操作。如果用传引用的方式，就得针对不同地址空间的组合声明大量重载：

class Foo {
private:
  uint8_t bunchOfData[160];

public:
  operator+(const thread Foo&) const thread;
  operator+(const constant Foo&) const thread;
  operator+(const thread Foo&) const constant;
  operator+(const constant Foo&) const constant;
  // ... 针对local空间的更多重载。对于device空间，用户需手动解包以保持合并访问。
}

我有以下几个问题：

1. 能否使用模板来泛化地址空间限定符？我尝试了如下模板写法：

class Foo {
private:
  uint8_t bunchOfData[160];

public:
  template <typename T> operator+(const T& rhs) const;
}

但出现错误：

error: reference type must have explicit address space qualifier
      template <typename T> operator+(const T& rhs);

而且我也没正确指定this的地址空间。
2. 我是否应该直接采用传值方式来完全避开这个问题？另外，Foo的大小不小，每个占160字节。我上次编写计算内核还是2009年的OpenCL时代，当时GPU无法进行函数调用，传值和传引用没区别因为都会被内联，现在情况还是这样吗？
3. 如果传引用仍然有用，常规做法是不是让调用者将值复制到thread空间，仅提供thread-thread版本的重载？

问题1：模板泛化地址空间限定符 #

Metal的地址空间限定符是类型的一部分，无法通过普通模板参数直接泛化，但可以利用Metal 2.0及以上支持的template address space语法来简化：

class Foo {
private:
  uint8_t bunchOfData[160];

public:
  template <address_space SrcSpace, address_space DstSpace>
  __attribute__((address_space(DstSpace))) Foo operator+(const __attribute__((address_space(SrcSpace))) Foo& rhs) const __attribute__((address_space(DstSpace))) {
    Foo result;
    // 加法逻辑示例：逐字节相加
    memcpy(result.bunchOfData, this->bunchOfData, sizeof(bunchOfData));
    for (int i = 0; i < sizeof(bunchOfData); i++) {
      result.bunchOfData[i] += rhs.bunchOfData[i];
    }
    return result;
  }
};

这里通过模板参数指定源和目标地址空间，成员函数的地址空间限定符会约束this的地址空间。不过调用时需要显式指定地址空间参数：

constant Foo a;
thread Foo b = a.operator+<constant, thread>(a);

这种写法能减少重载数量，但调用不够简洁，实际中也可以结合宏来批量生成重载，平衡代码简洁性和调用体验。

问题2：传值方式的可行性 #

直接传值确实能彻底避开地址空间问题，因为传值会自动把数据复制到当前函数的地址空间（通常是thread）。关于性能：

• 现代Apple Silicon GPU支持函数调用和栈操作，传值和传引用的行为不再完全等价。160字节的对象传值会产生栈复制开销，而传引用是直接访问原地址空间的数据。
• 如果编译器能将函数内联，两者的性能差异会被抹平，但大对象频繁传值可能增加栈压力，尤其在递归或高调用量场景下。
• 从constant或device地址空间传值时，编译器会自动处理数据复制，无需手动操作，比传引用更省心。

问题3：传引用的常规做法 #

如果坚持用传引用，常规方案是仅提供thread空间的重载，要求调用者将其他地址空间的Foo实例复制到thread空间后再操作：

class Foo {
private:
  uint8_t bunchOfData[160];

public:
  Foo operator+(const thread Foo& rhs) const thread {
    Foo result;
    memcpy(result.bunchOfData, this->bunchOfData, sizeof(bunchOfData));
    for (int i = 0; i < sizeof(bunchOfData); i++) {
      result.bunchOfData[i] += rhs.bunchOfData[i];
    }
    return result;
  }
};

// 调用示例：从constant空间复制到thread再运算
constant Foo constantFoo;
thread Foo threadFoo = constantFoo;
thread Foo sum = threadFoo + threadFoo;

这种方式代码简洁，且thread空间访问速度最快，避免了跨地址空间访问的延迟。对于device空间的实例，手动复制到thread空间还能确保合并访问，避免非合并访问带来的性能损失。

内容的提问来源于stack exchange，提问作者Rick Weber