如何修复Nginx因多挂载点扇区差异引发的文件读取失败错误

我之前也碰到过几乎一模一样的问题，核心原因就是directio直接IO的对齐要求和新旧磁盘的扇区配置不匹配导致的。

问题根源 #

当Nginx启用directio时，它会跳过内核页缓存直接和磁盘交互，这就要求所有IO操作的偏移量、读写大小必须严格匹配磁盘的物理扇区对齐规则：

• 旧盘逻辑扇区是512字节，默认的directio_alignment（通常为512）刚好符合要求
• 新盘的逻辑/物理扇区都是4096字节，此时用512字节的对齐值发起pread()调用，就会因为不符合对齐要求触发Invalid argument错误

而系统层面能正常读取是因为普通文件读取会经过内核缓存，内核会自动处理对齐问题，帮你抹平不同磁盘的扇区差异，但directio绕开了这个机制，所以问题就直接暴露出来了。

解决方案 #

1. 全局调整directio对齐值（推荐）

在Nginx配置的http、server或者对应的location块中，添加或修改directio_alignment配置为4096字节：

directio 4096;  # 启用directio，设置阈值为4K（大于等于该大小的文件使用directio）
directio_alignment 4096;  # 对齐值匹配新盘的扇区大小

这个配置对旧盘也完全兼容——旧盘的最优IO大小本来就是4096字节，用4K对齐不仅不会有性能损失，反而可能让旧盘的IO效率更高。

修改后重启Nginx生效：

nginx -s reload

2. 针对不同挂载点单独配置（可选）

如果需要对新旧磁盘的挂载点做差异化配置，可以分location单独设置：

# 旧盘挂载目录
location /old-storage {
    directio 512;
    directio_alignment 512;
}

# 新盘挂载目录
location /new-storage {
    directio 4096;
    directio_alignment 4096;
}

3. 验证修复效果

重启Nginx后，尝试访问新盘中的文件，同时查看Nginx错误日志（通常路径为/var/log/nginx/error.log），确认pread() failed (22: Invalid argument)的错误不再出现。

你也可以用dd命令验证文件本身的可读性：

dd if=/str/.../dsf13at.mp4 of=/dev/null bs=4096 count=1

如果命令能正常执行，说明文件本身没问题，问题确实出在Nginx的directio对齐配置上。

内容的提问来源于stack exchange，提问作者stjernstrom