如何识别无魔数的未知半压缩自定义嵌入式固件的压缩算法

一、从已知信息缩小排查范围 #

• 盯紧自定义后缀.ogz：这不是标准压缩格式，结合更新脚本用Python requests 2.27.x、主应用大概率是Python的背景，优先排查Python生态里的主流嵌入式压缩库——zstandard（zstd）、lz4、brotli都是2020-2022年成熟的方案，适配嵌入式设备的内存（500MB）和性能需求。
• 对比两个固件的差异：用vbindiff或者diff做二进制对比，固定硬件版本的前提下，看数据区的大小变化比例。比如zstd压缩比通常比gzip高，lz4更偏向解压速度、压缩比稍低，能帮你初步筛选方向。

二、二进制层面的细节拆解 #

• 先提取纯数据区：用十六进制编辑器定位头部结束的位置（比如版本号字段之后的固定分界字节），用dd命令把数据区单独扣出来，比如假设头部占前1024字节：

  dd if=firmware_00.03_01.02.14.tar.ogz of=data.bin skip=1024 bs=1
  

• 查数据区熵值：用ent data.bin计算熵值，接近8.0的高熵值说明是压缩或加密数据；熵值偏低的话，可能是打包+压缩的组合格式。
• 手动匹配压缩魔数：除了gzip/bz2，重点查这些嵌入式常用格式的魔数：
  • zstd：0x28B52FFD
  • lz4：0x04224D18（标准帧）或0x184D2204（小端）
  • brotli：0x1B7或0x1B2
  • lzma：0xFD377A585A00（xz的lzma2）
    用xxd data.bin | head -20看前几百字节，手动比对，或者写个简单Python脚本批量检查。

三、结合Python生态做实操验证 #

既然技术栈偏向Python，直接用对应库试解压：

1. 先装候选库：

   pip install zstandard lz4 brotli python-snappy
   

2. 写个极简测试脚本，遍历常见算法尝试：

   import zstandard as zstd
   import lz4.frame
   import brotli
   import snappy
   import lzma
   
   def test_decompress(raw_data):
       # 逐个尝试常见压缩算法
       algorithms = [
           ("zstd", zstd.ZstdDecompressor().decompress),
           ("lz4", lz4.frame.decompress),
           ("brotli", brotli.decompress),
           ("snappy", snappy.decompress),
           ("lzma", lzma.decompress)
       ]
       for name, func in algorithms:
           try:
               result = func(raw_data)
               print(f"{name} 解压成功！")
               with open(f"decompressed_{name}.bin", "wb") as f:
                   f.write(result)
               return result
           except Exception as e:
               continue
       print("所有尝试的算法均失败")
       return None
   
   if __name__ == "__main__":
       with open("data.bin", "rb") as f:
           data = f.read()
       test_decompress(data)
   

3. 如果直接解压失败，试试跳过数据区前几个字节（比如前4、8、16字节），有可能压缩数据前加了自定义长度头，截取后再跑脚本测试。

四、排除其他特殊情况 #

• 加密vs压缩：如果熵值极高但所有算法都失败，对比两个固件的相同偏移字节，要是差异完全随机，可能是加密而非压缩；如果有局部相似性，还是压缩的可能性大。
• 自研压缩变种：实在没头绪的话，用binwalk -A data.bin搜索常见的压缩指令特征，或者用IDA加载数据区，尝试识别解压逻辑的字节码特征（比如循环、字典操作的痕迹）。

内容的提问来源于stack exchange，提问作者peerfunk