如何从不可读字符串中识别常见编码机制及对应解码方法？

特征预筛查 #

先通过字符串的外观特征缩小候选编码范围，是成本最低的识别方式，常见编码的典型特征如下：

• JWT：固定三段式结构，用.分隔，第一段解码后必然包含alg字段声明签名算法，你给出的HS384算法JWT示例就完全符合该特征
• URL编码：大量出现%加两位十六进制字符的组合，部分场景下会用+替代空格
• Base64/Base64URL：仅包含大小写字母、数字、+/-、//_，末尾可能出现1-2个=作为填充，Base64URL是适配URL场景的变体，会把+换成-、/换成_，通常也会省略填充符=
• 十六进制编码：仅由0-9、a-f/A-F组成，总长度为偶数
• Unicode转义：普遍存在\u加四位十六进制字符的结构，比如\u4f60\u597d对应中文“你好”

批量尝试验证解码的实现 #

完全可以通过程序遍历所有候选编码尝试解码，再筛选出可读结果，核心逻辑如下：

1. 先用上面的特征规则过滤完全不匹配的编码类型，减少无效尝试
2. 按特征匹配度从高到低调用对应编码的解码函数，解码后做可读性校验：
   • 校验是否存在大量不可打印的控制字符、乱码
   • 可结合预期内容的语言校验字符范围，比如目标为中文时，解码结果中应该包含大量中日韩统一表意文字区间的字符
   • 如果预期是结构化内容，可额外校验是否符合JSON/XML等格式规范
3. 输出所有通过可读性校验的结果，由人工结合上下文做最终确认

你可以直接用Python的chardet、cchardet或者精度更高的charset-normalizer库做编码自动检测，也可以自己写简单脚本实现多编码尝试验证，示例代码片段如下：

import base64
from urllib.parse import unquote

# 待检测字符串示例
target_str = "foobar%C3%96%C3%96"

# 尝试URL解码
try:
    url_decode_res = unquote(target_str, encoding="utf-8")
    if "%" not in url_decode_res:
        print(f"URL解码成功，结果：{url_decode_res}")
except Exception:
    pass

# 尝试Base64解码
try:
    b64_decode_res = base64.b64decode(target_str).decode("utf-8")
    print(f"Base64解码成功，结果：{b64_decode_res}")
except Exception:
    pass

需要注意：不存在100%准确的自动编码识别方案，尤其是短字符串的特征不足时误判概率很高，最终结果必须结合业务场景人工确认。

内容的提问来源于stack exchange，提问作者n.r.