Nginx在特定AWS AMI上pread()读取配置文件失败问题排查

1. 为什么Nginx尝试一次性读取配置文件会失败？ #

Nginx的ngx_read_file函数存在以下逻辑限制：

• 先通过stat调用获取配置文件的总大小
• 发起一次性读取请求，尝试获取与stat结果匹配的字节数
• 若实际读取的字节数与预期大小不匹配，直接判定为读取失败并终止进程

虽然系统调用pread()本身允许返回少于请求的字节数（比如文件截断、I/O中断等场景），但旧版本Nginx镜像的这个函数未做重试或兼容处理，只要字节数不匹配就触发报错。

2. 新AMI上返回字节少于实际文件大小的原因 #

结合你提供的strace信息和32位镜像的怀疑，核心原因是32位用户态程序在64位内核环境下的系统调用兼容性问题，具体可能包括：

• 新AMI（ami-0c2a649f9d523b271）的内核或容器 runtime 对32位程序的fstat64调用处理逻辑有变化，导致返回的st_size字段被错误截断或读取了旧缓存值（比如st_size=10就是明显的错误值），旧AMI的内核对32位程序兼容性更好，未触发该问题。
• 容器 runtime 在新AMI上对32位容器的文件挂载逻辑存在bug，可能复用了之前某个文件的文件描述符或元数据缓存，导致stat拿到错误的文件大小，但实际pread能读到部分真实内容（126字节）。
• 旧Nginx镜像（nginx@sha256:aa338f686356e1b0a4287cbed06b86d460c22928c4989865a01b7aac321ca14c）是32位版本，而新镜像（sha256:fdaba7709b3ad1bbf72f3adb96279160bbd636f357b1832cb5fb8d0e41280425）为64位版本，64位程序可正常适配64位内核的系统调用，不会出现stat与pread结果不匹配的问题。

内容的提问来源于stack exchange，提问作者Andrei Enshin