嵌入式Linux下C文件拷贝程序随机异常问题排查求助

在基于Linux 5.10.24内核的嵌入式环境中（64MB RAM，GLIBC 2.38），运行基于stdio的C文件拷贝压力测试程序时，出现以下随机异常：

• 执行./filecopy /root/16MB_src.bin /root/dest.bin 250000时，随机触发Segmentation fault、Bus error、Illegal instruction
• GDB调试提示Fatal error: glibc detected an invalid stdio handle并触发SIGABRT
• 1MB小文件测试正常，8MB+大文件触发异常；18MB文件从NAND读、RAM写正常，从RAM读、NAND写出错；free -k显示内存未耗尽

可能的根因分析 #

1. NAND存储/文件系统IO异常导致stdio缓存损坏 #

嵌入式NAND闪存存在坏块、ECC纠错失败的概率，当频繁写入大文件时，驱动或文件系统（如UBIFS/Yaffs2）可能出现数据一致性问题，破坏GLIBC stdio层的内部缓存结构，进而触发"无效stdio句柄"的错误。从"RAM读、NAND写出错"的现象来看，存储写入路径的问题概率极高。

2. GLIBC stdio缓冲与低内存环境的隐性冲突 #

虽然free显示内存未耗尽，但嵌入式系统的内存碎片化、GLIBC stdio默认的大缓冲区（通常8KB以上）在循环拷贝大文件时，可能导致内存分配/释放过程中出现损坏，尤其是当内核页缓存与用户态stdio缓存抢占有限内存时，容易触发异常。

3. 新GLIBC与老内核的兼容性问题 #

GLIBC 2.38属于较新版本，而Linux 5.10.24是相对稳定的老内核，两者在系统调用封装、stdio底层实现上可能存在适配问题，导致用户态程序访问到非法内存区域。

4. 内核驱动或文件系统bug #

Linux 5.10.24的NAND驱动或所用文件系统可能存在频繁大文件写入的bug，导致用户态进程的文件句柄关联的内核数据结构损坏，进而引发用户态的异常。

排查步骤与验证方案 #

步骤1：验证存储介质的影响 #

• 将目标文件路径改为RAM文件系统（如/tmp/dest.bin），重新运行测试：

  ./filecopy /root/16MB_src.bin /tmp/dest.bin 250000
  

  如果异常消失，确认是NAND存储或文件系统的问题。
• 使用nanddump、badblocks工具扫描NAND闪存，检查是否存在坏块或读写错误。

步骤2：禁用stdio缓冲测试 #

修改代码，在fopen后添加setvbuf禁用stdio缓冲，绕开GLIBC的缓存管理：

static int copy_file(const char *src, const char *dest)
{
    FILE *fp, *fp2;
    int rlen = 0, wlen = 0, rc = 0;

    fp = fopen(src, "r");
    if (fp == NULL)
    {
        printf("Cannot open file %s\n", src);
        return 1;
    }
    setvbuf(fp, NULL, _IONBF, 0); // 禁用读缓冲

    fp2 = fopen(dest, "ab");
    if (fp2 == NULL) {
        fclose(fp);
        return 1;
    }
    setvbuf(fp2, NULL, _IONBF, 0); // 禁用写缓冲

    // ... 原有循环读写逻辑 ...
}

重新编译运行，若异常消失，说明是GLIBC stdio缓存与存储交互的问题。

步骤3：检查内核与内存状态 #

• 启用内核内存调试参数：在启动命令行添加slab_debug=FP，系统运行时通过dmesg查看是否有内存损坏的日志。
• 修改文件系统挂载参数，添加sync选项（如mount -o remount,sync /root），强制写操作同步到存储，验证是否还会出现异常。
• 在每次fclose(fp2)前添加fsync(fp2)，确保数据同步后再关闭文件句柄。

步骤4：验证GLIBC兼容性 #

• 使用静态编译方式编译程序，避免动态链接的GLIBC依赖：

  gcc -static filecopy.c -o filecopy_static
  

  运行静态编译的程序，若异常消失，说明动态GLIBC与内核存在兼容性问题，考虑降级GLIBC到适配5.10内核的版本（如GLIBC 2.31）。

临时解决方案 #

• 若为存储问题：修复NAND坏块，升级文件系统驱动，或更换可靠的存储介质。
• 若为stdio缓冲问题：禁用stdio缓冲，或改用底层read()/write()系统调用替代fread()/fwrite()。
• 若为GLIBC兼容性问题：采用静态编译程序，或降级GLIBC版本至与内核匹配的稳定版本。

内容的提问来源于stack exchange，提问作者wangt13