OpenSSL执行RSA解密返回乱码问题咨询

解密流程未抛出填充错误、但输出和明文等长的8字节乱码，核心成因集中在以下几类，可按顺序排查：

• 填充模式不匹配，触发PKCS#1 v1.5填充的错误切分
  你解密时指定的rsa_padding_mode:pkcs1对应RSAES-PKCS1-v1_5填充标准，该填充的块结构为0x00 0x02 [至少8字节随机非零填充] 0x00 [真实明文]，openssl解密时会从左到右查找分隔符0x00，把该字节之后的所有内容作为明文输出，只有当开头两个字节不是0x00 0x02、或者找不到0x00分隔符时才会报填充错误。
  如果加密方实际使用无填充（RAW RSA）模式做加密，解密得到的原始二进制块长度等于RSA密钥长度（比如2048位密钥对应256字节），只要块内刚好存在一个0x00字节、且该字节之后剩余长度刚好是8字节，openssl就会直接把这8个字节切出来作为结果输出，不会报错，内容自然是和明文无关的乱码。
  这种情况可以直接用无填充模式解密验证：
  openssl pkeyutl -decrypt -in rsa.txt -out msg_raw.txt -inkey priv.pem -keyform PEM -pkeyopt rsa_padding_mode:none
  如果输出文件长度和密钥对应块长度一致（1024位密钥对应128字节、2048位对应256字节），就可以确认是填充不匹配问题，真实明文一般在解密块的最后8字节位置，提取后按ASCII解析即可得到8位数字。
• Base64解码参数使用错误
  你在base64解码命令中加了-A参数，该参数的作用是告知openssl输入为无换行的单行base64内容。如果原始密文的base64编码是按标准每64字符插入换行的多行格式，-A参数会导致解码出的二进制密文截断、内容错误，后续RSA解密得到的自然是乱码。可以去掉-A参数重新解码后解密验证：
  openssl enc -d -base64 -in in.txt -out rsa_fix.txt
• 明文编码逻辑和预期不一致
  部分加密实现不会把8位数字直接按ASCII字符串编码送入加密流程：比如会将8位数字转为整数值后编码为4字节二进制、或者转为BCD编码后再做加密填充，这种情况下你解密后直接按8字节ASCII字符串解析，得到的就是乱码。可以把解密得到的8字节内容转为十六进制，按数值规则解析即可得到对应数字。
• 密钥对不匹配
  如果当前使用的私钥，和加密该密文时使用的公钥不属于同一RSA密钥对，解密得到的就是随机二进制内容，刚好输出长度为8字节时就会出现你遇到的乱码现象。可以通过比对私钥导出公钥的指纹、和加密方使用的公钥指纹是否一致排查该问题。

内容的提问来源于stack exchange，提问作者user2793489