FreeBSD下sys_open调用打开不存在文件返回2而非-1问题排查

问题背景 #

我在编写不依赖Libc及任何第三方库的32位FreeBSD C程序时，手动封装的sys_open系统调用出现异常：打开不存在的文件时，返回值是2而非预期的-1。相关代码如下：

汇编封装代码 #

.global sys_open
sys_open:
    mov $5, %eax
    int $0x80
    ret

C调用代码片段 #

fd = sys_open(argv[i], O_RDONLY);

/* 临时修复：打开不存在文件时sys_open返回2而非-1，而0、1、2肯定被占用了 */
if (fd < 3) {
    const char* errmessage = "error: failed to open file\n";
    sys_write(STDERR_FILENO, errmessage, strlen(errmessage));
    return errno;
}

已确认参数传递正确，其他系统调用均正常工作，无法定位问题根源，寻求解决思路。

问题原因 #

FreeBSD 32位的系统调用返回规则和Linux存在差异：

• Linux下系统调用成功时eax存储非负结果，失败时直接返回负数（比如ENOENT对应-2）
• 但FreeBSD中，系统调用失败时，eax存储的是原始错误码（比如ENOENT就是2），同时会置位CPU的CF（进位标志位）。你当前的代码直接返回eax的值，自然就拿到了错误码2，而非预期的负数。

解决方法 #

修改汇编代码，检查CF标志位，将错误码转换为负值返回：

.global sys_open
sys_open:
    mov $5, %eax
    int $0x80
    jc syscall_fail  # CF置位说明调用失败，跳转到错误处理逻辑
    ret
syscall_fail:
    neg %eax          # 将错误码转为负数（比如2→-2）
    ret

额外提示 #

• FreeBSD所有系统调用的错误处理逻辑都遵循此规则，你可以把错误处理抽成通用函数，避免重复编写代码
• 之前的临时修复用fd < 3判断错误并不严谨——虽然0、1、2默认对应标准输入/输出/错误，但如果这些fd被手动关闭，合法fd也可能小于3。正确的判断方式应该是检查返回值是否为负数。

内容的提问来源于stack exchange，提问作者user17837290