PCIE设备驱动：16MiB物理连续内存分配及映射问题问询

针对你遇到的问题——无法通过常规内核内存分配方法获取16MiB连续物理内存，且使用memmap参数预留后无法映射，我整理了一套可行的解决方案，分为以下几个步骤：

一、确保memmap参数正确配置 #

首先要确认你用对了memmap的语法，它的格式是：

memmap=size[KMG]$offset[KMG]

其中：

• size是要预留的内存大小（这里固定为16M）
• offset是预留区域的起始物理地址（必须是未被内核/BIOS占用的空闲区域）

如何确定合适的起始物理地址？ #

1. 启动系统后查看dmesg输出，搜索BIOS-e820关键字，找到标记为usable或非reserved的空闲内存区间
2. 选择一个刚好16MiB大小的连续空闲区间，比如假设找到空闲区间0x0000000002000000-0x0000000003000000，对应的内核启动参数就是：

memmap=16M$0x2000000

注意：一定要确保这个地址区间未被其他硬件或内核占用，否则会导致系统崩溃或设备异常。

二、在PCIe驱动中手动映射预留内存 #

memmap预留的内存不属于内核的常规内存管理池，所以不能用kmalloc/vmalloc之类的函数访问，必须通过ioremap将物理地址映射到内核虚拟地址空间：

#include <linux/io.h>
#include <linux/pci.h>

#define SCRATCH_MEM_PHYS 0x2000000  // 对应memmap参数中的起始物理地址
#define SCRATCH_MEM_SIZE (16 * 1024 * 1024)

static void __iomem *scratch_virt;

static int pcie_probe(struct pci_dev *pdev, const struct pci_device_id *id) {
    // 映射预留的物理内存到内核虚拟地址
    scratch_virt = ioremap(SCRATCH_MEM_PHYS, SCRATCH_MEM_SIZE);
    if (!scratch_virt) {
        dev_err(&pdev->dev, "Failed to ioremap scratch memory\n");
        return -ENOMEM;
    }

    // 零填充映射后的内存区域（必须用memset_io，不能用普通memset）
    memset_io(scratch_virt, 0, SCRATCH_MEM_SIZE);

    // 这里可以将物理地址SCRATCH_MEM_PHYS告知PCIe设备（比如通过配置寄存器或BAR）
    // 设备将直接访问该物理地址的内存

    return 0;
}

static void pcie_remove(struct pci_dev *pdev) {
    // 卸载驱动时解除映射
    if (scratch_virt) {
        iounmap(scratch_virt);
        scratch_virt = NULL;
    }
}

// 其余PCIe驱动框架代码（如设备ID表、驱动结构体）省略

三、关键注意事项 #

• 使用memset_io而非memset：因为ioremap映射的是IO内存空间，普通的memset不保证在这类空间上的操作安全性，必须用内核提供的memset_io函数完成零填充。
• 物理地址传递给设备：PCIe设备需要访问的是物理地址SCRATCH_MEM_PHYS，而不是内核虚拟地址scratch_virt，所以要确保设备配置的是正确的物理地址。
• 验证启动参数生效：可以通过cat /proc/cmdline查看内核启动参数，确认memmap配置已经生效。

替代方案：早期内存分配（可选） #

如果你的驱动是编译进内核而非动态加载的，可以尝试在系统启动早期（内存尚未碎片化）使用alloc_pages_exact分配连续物理内存：

void *scratch_virt = alloc_pages_exact(SCRATCH_MEM_SIZE, GFP_KERNEL);
if (scratch_virt) {
    memset(scratch_virt, 0, SCRATCH_MEM_SIZE);
    // 获取物理地址：virt_to_phys(scratch_virt)
}

但这种方法仅适用于内核启动阶段，模块加载时由于内存碎片化，大概率无法分配到16MiB的连续内存，所以memmap方案更可靠。

内容的提问来源于stack exchange，提问作者András Gajdács