Windows x86_64环境下AES汇编文件链接及函数调用异常求助

核心问题 #

Linux环境下用GCC可正常链接OpenSSL的aes-x86_64.s汇编文件，但Windows下无论是CL、LD还是TDM版GCC都无法完成链接。通过OpenSSL的x86_64-xlate.pl脚本转换为MASM格式后，删除.note.gnu.property段可编译，但调用AES_set_encrypt_key时返回-1（预期返回0），经x64dbg调试确认存在异常。

关键原因分析 #

1. 调用约定差异：Linux x64采用SysV调用约定，Windows x64采用FastCall约定，两者参数传递寄存器、寄存器保存规则完全不同，转换脚本未适配该差异。
2. 段定义不兼容：GAS的段格式（如.text、.note.gnu.property）与Windows PE文件的段要求不符，删除.note.gnu.property虽能编译，但可能遗漏关键段属性或指令逻辑。
3. 符号命名规则：Windows下函数名默认带下划线前缀（如_AES_set_encrypt_key），而Linux无此要求，转换后的代码未处理符号命名差异。
4. 指令语法差异：部分GAS指令的语法在MASM中不兼容，比如内存寻址方式、前缀指令写法，导致实际执行逻辑偏离预期。

针对性解决方案 #

1. 手动适配Windows x64调用约定 #

• 参数传递修正：将原GAS中用RDI、RSI、RDX传递的参数，改为Windows x64的RCX、RDX、R8寄存器；超过4个的参数需通过栈传递。
• 寄存器保存规则：确保函数中保存Windows要求的非易失性寄存器（RBX、RBP、RDI、RSI、R12-R15），避免破坏调用者上下文。
• 栈帧处理：Windows x64要求函数入口处分配32字节的“影子空间”用于保存前4个参数，需在汇编代码中添加对应的栈操作。

2. 修正段定义与符号命名 #

• 将GAS的.text段替换为MASM的.code段，符合PE文件格式要求。
• 给所有对外暴露的函数名添加下划线前缀，比如将AES_set_encrypt_key改为_AES_set_encrypt_key，同时在测试代码中调用对应的下划线版本。

3. 调试与指令修正 #

• 用x64dbg跟踪AES_set_encrypt_key入口，检查RCX、RDX、R8寄存器中的参数是否与预期一致，确认参数传递正确性。
• 对比原GAS代码与转换后的MASM代码，逐一修正指令语法差异，比如GAS的movq %rdi, %rax对应MASM的mov rax, rcx（参数位置调整后），确保逻辑等价。

4. 工具链适配 #

• 若使用TDM-GCC，可尝试保留GAS格式的汇编文件，用gcc -c aes-x86_64.s -o aes-x86_64.o编译为目标文件后链接测试代码，避免转换为MASM的步骤。注意添加-m64等适配Windows的编译选项。

示例修正片段 #

原GAS中AES_set_encrypt_key入口：

AES_set_encrypt_key:
        movq    %rdi, %rax
        ...

转换为MASM并适配Windows调用约定后：

_AES_set_encrypt_key proc
        mov rax, rcx  ; 第一个参数从RCX传入
        sub rsp, 32   ; 分配影子空间
        ...
        add rsp, 32   ; 释放影子空间
        ret
_AES_set_encrypt_key endp

内容的提问来源于stack exchange，提问作者shawnixer