ARM64平台mmap PCIe BAR后调用memset触发总线错误求助

核心原因 #

用户态memset()是针对系统内存优化的通用函数，会用CPU的批量内存操作指令（比如x86的rep stosb），但PCIe BAR对应的是内存映射I/O（MMIO）空间，和普通内存有本质区别：

• MMIO空间由PCIe设备硬件响应，多数设备不支持CPU的突发批量访问，只能处理固定粒度的单次访问（比如4字节、8字节，你的设备刚好支持最大240字节的连续操作）。
• 当地址未按设备要求对齐时，CPU的批量指令会产生非对齐访问，而很多PCIe设备不支持非对齐MMIO访问，直接触发总线错误；如果设备没配置AER（高级错误报告），或者错误类型不在AER上报范围内，自然看不到AER日志。

驱动里的memset_io()/memcpy_toio()是专门为MMIO设计的内核接口，会自动把批量操作拆分成符合设备要求的单次小粒度访问，还能处理对齐问题，所以不会报错。

验证方法 #

你可以在用户态手动模拟内核接口的行为，用循环逐字节或按4/8字节写入，替换memset()试试：

// 用户态替代memset的示例（按字节写入）
void mmio_memset(void *addr, int c, size_t len) {
    unsigned char *p = addr;
    while (len--) {
        *p++ = (unsigned char)c;
    }
}

// 在main里替换原memset调用
mmio_memset(bar, 0, 241);

如果这样操作不报错，就实锤是memset()的批量指令导致的问题。

解决办法 #

方案1：用户态手动拆分访问 #

像上面的示例一样，用循环逐字节或按设备支持的粒度（比如4字节）写入，避免CPU的批量操作指令。

方案2：内核封装操作接口 #

在驱动里实现ioctl命令，让用户态通过ioctl传递要清零的地址偏移和长度，驱动内部调用memset_io()完成操作，既安全又能利用内核接口的兼容性。

驱动ioctl实现片段：

// 定义ioctl命令
#define PCIE_BAR_CLEAR _IOW('p', 0, struct bar_clear_args)

struct bar_clear_args {
    unsigned int offset;
    size_t length;
};

static long pci_rc_ioctl(struct file *file, unsigned int cmd, unsigned long arg) {
    struct pci_dev *pdev = file->private_data;
    struct bar_clear_args args;
    void __iomem *bar_addr;

    if (copy_from_user(&args, (void __user *)arg, sizeof(args))) {
        return -EFAULT;
    }

    bar_addr = pci_ioremap_bar(pdev, BAR_2);
    if (!bar_addr) {
        return -ENOMEM;
    }

    memset_io(bar_addr + args.offset, 0, args.length);
    pci_iounmap(pdev, bar_addr);

    return 0;
}

// 在file_operations中注册ioctl
static const struct file_operations pci_rc_fops = {
    .mmap = pci_rc_mmap,
    .unlocked_ioctl = pci_rc_ioctl,
    // ... 其他操作函数
};

用户态调用示例：

struct bar_clear_args args = {
    .offset = 0,
    .length = 241,
};

ioctl(fd, PCIE_BAR_CLEAR, &args);

补充说明 #

• 你的驱动里io_remap_pfn_range设置pgprot_noncached是正确的，MMIO空间必须禁用缓存，否则会出现数据不一致或错误。
• 设备支持的最大连续MMIO访问长度，你可以查设备的PCIe配置文档或者厂商硬件手册确认，这是硬件层面的限制，没法通过软件绕过。

内容的提问来源于stack exchange，提问作者Qiang.xu