Linux下Python mmap写入PCI设备文件失败问题排查

1. 检查文件打开与映射的权限 #

Python的open()默认是只读模式，mmap的权限不能超过文件描述符的权限。如果打开PCI设备的resource0文件时未指定读写权限，即便mmap设置了写权限也无法生效。

错误示例：

fd = open("/sys/bus/pci/devices/0000:01:00.0/resource0", "r")  # 只读打开
mm = mmap.mmap(fd.fileno(), 4096, access=mmap.ACCESS_WRITE)

正确写法需用读写模式打开，建议用os.open()以指定更多底层标志：

import os
import mmap

# O_RDWR 读写权限，O_SYNC 确保写入直接同步到硬件
fd = os.open("/sys/bus/pci/devices/0000:01:00.0/resource0", os.O_RDWR | os.O_SYNC)
# MAP_SHARED 保证修改同步到底层设备，PROT_READ|PROT_WRITE 读写权限
mm = mmap.mmap(fd, 4096, flags=mmap.MAP_SHARED, prot=mmap.PROT_READ | mmap.PROT_WRITE)

2. 禁用内存缓存（核心原因） #

PCI设备的BAR空间属于非缓存IO空间，Linux默认的mmap会启用缓存，导致写入操作被系统缓存拦截，无法实际发送到硬件。C程序通常会指定MAP_NOCACHE（或MAP_UNCACHED，依内核版本而定）禁用缓存，但Python标准库的mmap未直接暴露该标志，需手动传入对应数值（可通过grep MAP_NOCACHE /usr/include/linux/mman.h确认，通常为0x20）。

示例代码：

import os
import mmap

MAP_NOCACHE = 0x20  # 先确认你的系统上的实际值

fd = os.open("/sys/bus/pci/devices/0000:01:00.0/resource0", os.O_RDWR | os.O_SYNC)
# 叠加MAP_NOCACHE标志，禁用缓存
mm = mmap.mmap(fd, 4096, flags=mmap.MAP_SHARED | MAP_NOCACHE, prot=mmap.PROT_READ | mmap.PROT_WRITE)

3. 确保数据类型与字节顺序正确 #

PCI设备寄存器多为小端字节序，Python直接转换字节时若未匹配设备要求，会写入错误值，表现为“写入无效果”。比如写入32位寄存器：

错误示例（使用主机字节序）：

mm[0:4] = (0x12345678).to_bytes(4, byteorder='big')

正确写法（匹配设备小端字节序）：

# 写入32位无符号小端值
mm[0:4] = (0x12345678).to_bytes(4, byteorder='little', signed=False)

同时要保证写入偏移和长度与寄存器对齐（比如32位寄存器需从4字节对齐的地址开始写入）。

4. 显式同步映射区域（可选） #

尽管MAP_SHARED会自动同步，但某些场景下需显式调用msync确保缓存数据刷到硬件：

import os

# 写入完成后同步映射区域
os.msync(mm, 0, 4096, os.MS_SYNC)

验证步骤 #

1. 确认Python程序以root权限运行（PCI设备操作需管理员权限）。
2. 对比C程序的mmap参数，确认是否包含缓存禁用标志，再对应到Python代码中。
3. 用hexdump工具读取resource0文件，验证写入后的值是否变化。

内容的提问来源于stack exchange，提问作者boomerang