Homebrew Client/Server系统文件传输时栈溢出检测错误排查求助

1. 定位栈溢出的具体触发点 #

• 编译时添加-g参数保留调试信息，用gdb启动服务器，触发文件传输操作。当服务器崩溃时，执行bt命令查看调用栈，精准定位transfers.c中导致栈溢出的函数和代码行。
• 重点检查该行代码是否存在数组越界、结构体非法访问，尤其是涉及OpenSSL相关的内存操作。

2. 核对OpenSSL 1.0 → 1.1的API变更 #

OpenSSL 1.1对很多API做了不透明化和函数替换，这是核心排查方向：

• 结构体访问变化：1.1开始SSL、EVP_MD_CTX等结构体不再允许直接访问成员（如原代码中的ssl->session或ctx->md），必须使用官方提供的访问函数（如SSL_get_session()、EVP_MD_CTX_md()），直接访问会导致内存越界触发栈保护。
• 对象创建/销毁函数：1.0的EVP_MD_CTX_create()/EVP_MD_CTX_destroy()在1.1中被替换为EVP_MD_CTX_new()/EVP_MD_CTX_free()，混用会导致内存管理错误。
• 加密/解密函数参数：检查EVP_EncryptInit_ex、EVP_DecryptUpdate等函数的参数是否符合1.1版本要求，参数传递错误可能引发栈溢出。

3. 排查CPU占用100%的根源 #

CPU满载通常是死循环导致，可通过以下方式定位：

• 服务器出现CPU异常时，用pstack <进程ID>查看当前调用栈，确认卡在transfers.c的哪个循环或函数中。
• 检查文件传输的读写循环逻辑：比如read()/write()返回错误（如-1）时是否未正确退出循环，导致无限重试；或是OpenSSL操作返回错误后未处理，进入死循环。
• 用strace -p <进程ID>跟踪系统调用，观察是否存在重复执行的无效调用（如不停调用read()返回-1，或select()参数错误导致立刻返回）。

4. 修复验证 #

• 优先修复栈溢出的根源问题，而非依赖-fno-stack-protector掩盖错误，比如修正OpenSSL API调用方式、修复内存越界。
• 修复后测试文件传输，同时监控CPU占用，确认两个问题是否都解决。

内容的提问来源于stack exchange，提问作者Sascha7777