CUDA驱动API无cudaDeviceSynchronize()，如何让CPU等待CUDA内核？

你找不到cudaDeviceSynchronize()是因为它属于CUDA Runtime API（对应cudart.dll/libcudart.so），而你当前调用的是CUDA驱动API（对应nvcuda.dll/libcuda.so），驱动API里的同步函数采用不同的命名规则：

可用的驱动API同步函数 #

• cuDeviceSynchronize()：等待指定设备上所有CUDA流的所有操作执行完毕。若未显式指定设备，会等待当前上下文绑定的设备。
• cuStreamSynchronize()：仅等待指定CUDA流中的所有操作完成，适合多流并行场景，比设备级同步更高效。

Delphi中函数声明示例 #

你需要在Delphi中按驱动API规范声明这些函数，才能从nvcuda.dll加载调用：

type
  TCUresult = Integer; // 需提前定义CUresult枚举对应值

// cuDeviceSynchronize函数声明
function cuDeviceSynchronize(device: Integer): TCUresult; cdecl; external 'nvcuda.dll' name 'cuDeviceSynchronize';

// cuStreamSynchronize函数声明（使用流时调用）
function cuStreamSynchronize(stream: Pointer): TCUresult; cdecl; external 'nvcuda.dll' name 'cuStreamSynchronize';

使用示例 #

• 无流启动内核时，直接调用设备同步：

var
  res: TCUresult;
begin
  // 执行内核启动逻辑...
  res := cuDeviceSynchronize(0); // 0为设备索引，根据实际情况调整
  if res <> 0 then
    // 处理同步错误
end;

• 用特定流启动内核时，同步对应流：

var
  res: TCUresult;
  hStream: Pointer;
begin
  // 创建流、关联流启动内核...
  res := cuStreamSynchronize(hStream);
  if res <> 0 then
    // 处理同步错误
end;

内容的提问来源于stack exchange，提问作者Thiago Rangel