VFIO映射区域中跨虚拟机进程的互斥锁共享问题

我在宿主机进程创建共享内存区域，通过VFIO暴露给虚拟机内进程，双方用mmap映射后读写数据。为同步访问，将互斥锁属性设为PTHREAD_PROCESS_SHARED，但出现异常行为和死锁，排查代码未发现解锁问题，疑问：

1. pthread_mutex跨虚拟化边界是否有效？
2. 若不合适，有哪些临界区同步替代方案？

共享内存创建代码 #

/* Create shared memory */
void *shm;
int fd;

fd = shm_open(name, O_CREAT | O_RDWR, 0666);
ftruncate(fd, size);
shm = mmap(addr, size, PROT_READ | PROT_WRITE,
      MAP_SHARED | (addr == NULL ? 0 : MAP_FIXED) | MAP_POPULATE, fd, 0);
memset(shm, 0, size);

互斥锁初始化代码 #

/* Initialize mutex */
struct shm_ring {
  struct pthread_mutex_t *mux_addr;
  void *data_addr;
};

struct shm_ring ring;
ring.mux_addr = shm;
ring.data_addr = shm + sizeof(struct pthread_mutex_t);

pthread_mutexattr_t *attr = malloc(sizeof(pthread_mutexattr_t));
pthread_mutexattr_init(attr);
pthread_mutexattr_setpshared(attr, PTHREAD_PROCESS_SHARED);
pthread_mutexattr_settype(attr, PTHREAD_MUTEX_NORMAL);
pthread_mutexattr_setrobust(attr, PTHREAD_MUTEX_ROBUST);
pthread_mutex_init(ring->mux_addr, attr);

pthread_mutex跨虚拟化边界为什么无效？ #

• PTHREAD_PROCESS_SHARED仅保证同一内核空间内的进程可共享互斥锁，而宿主机和虚拟机属于独立的内核实例，pthread_mutex依赖内核提供的futex等同步原语，这些原语无法跨内核生效。
• 虚拟机与宿主机的内存虽通过VFIO做了物理地址映射，但pthread_mutex内部的状态（如持有者PID、等待队列）是内核感知的，虚拟机内核无法识别宿主机的进程标识，反之亦然，导致锁状态完全无法同步。
• 即便设置PTHREAD_MUTEX_ROBUST，也仅能处理同一内核内进程崩溃的情况，无法跨内核恢复锁状态。

可行的跨虚拟化同步方案 #

1. 硬件原子指令实现自旋锁 #

完全在用户态实现，不依赖内核，利用CPU的原子指令（如cmpxchg、test-and-set）保证同步：

typedef struct {
    volatile int lock;
} hw_spinlock_t;

#define SPINLOCK_UNLOCKED 0
#define SPINLOCK_LOCKED 1

static inline void hw_spin_lock(hw_spinlock_t *lock) {
    while (__sync_lock_test_and_set(&lock->lock, SPINLOCK_LOCKED)) {
        // 加入pause指令减少空转时的CPU占用
        __asm__ __volatile__("pause" ::: "memory");
    }
    __sync_synchronize();
}

static inline void hw_spin_unlock(hw_spinlock_t *lock) {
    __sync_synchronize();
    __sync_lock_release(&lock->lock);
}

注意：仅适合临界区执行时间极短的场景，避免长时间自旋浪费CPU资源。

2. 共享内存标志位+轮询 #

通过共享内存中的原子状态标志实现同步，无需内核介入：

• 在共享内存中定义volatile int data_ready等状态变量
• 写方完成数据写入后，用原子操作将标志位设为1
• 读方轮询标志位，直到变为1后处理数据，处理完成再原子重置为0
• 可配合usleep降低轮询频率，减少CPU消耗

3. VFIO中断通知 #

利用VFIO的硬件中断机制实现主动唤醒，替代轮询：

• 宿主机和虚拟机分别注册VFIO中断回调
• 当一方需要同步时，触发硬件中断通知另一方
• 结合共享内存的状态标志，实现高效的生产者-消费者同步

4. 网络套接字同步（非实时场景） #

如果对性能要求不高，可通过UNIX域套接字或TCP在宿主机与虚拟机之间传递同步信号，但延迟较高，仅适合非实时场景。

内容的提问来源于stack exchange，提问作者MUAS