Flutter-iOS端重复及相似图片检测的高性能实现方案问询

核心优化逻辑：避免全量两两比对，通过分层降维把O(n²)复杂度降到接近O(n) #

1. 第一层：快速过滤完全重复图片 #

• 先对全量图片做文件级哈希（MD5/SHA-1）计算，直接把哈希值完全相同的图片归为重复组，这一步复杂度为O(n)，可先筛掉所有完全重复的图片，不需要进入后续相似判断环节。
• 计算文件哈希时采用流式读取方案，不要加载全图到内存，iOS侧可直接封装系统CommonCrypto接口供Dart调用，避免大尺寸图片导致内存溢出。

2. 第二层：粗分类拆分比对范围 #

• 给所有图片加两个低计算成本的基础特征：宽高比、主色分布，提前过滤完全不匹配的图片：比如宽高比误差超过5%、主色调差异过大的图片直接排除，不需要做相似度比对。
• 按特征把10000张图拆分为几十个小分组，后续仅在同分组内做相似比对，直接将比对量级从10000*10000降到单组平均300-500张的量级，复杂度下降2个数量级。

3. 第三层：感知哈希检索优化 #

• 你用到的感知哈希（dHash/pHash）本身是64/128位的二进制串，不要逐张计算汉明距离，改用局部敏感哈希（LSH）分桶方案：
  • 把64位感知哈希拆分为8段，每段8位，提前将所有哈希按8个分段存入带索引的本地SQLite库
  • 相似度匹配时，仅匹配和当前哈希有任意一个分段相同的候选哈希，再计算汉明距离判断是否相似，不需要遍历全库
• 感知哈希计算时不需要加载全分辨率图，直接把图片缩放到9*8（dHash）/32*32（pHash）的灰度小图计算，单张图内存占用控制在KB级，避免内存峰值过高。

4. 计算性能优化 #

• 哈希计算、特征提取这类计算密集型任务，不要放在Dart主isolate执行，根据iOS设备核心数开4-6个并行子isolate处理，计算完成后再把结果回传主isolate，不会阻塞UI也不会因为单线程负载过高触发崩溃。
• 做增量计算缓存：首次全量计算完成后，把所有图片的特征、哈希值存在本地，后续仅对新增图片做计算和比对，不需要每次全库重算。

5. 极端场景兜底 #

• 首次计算时可设置速率控制，每处理100张图片休眠10ms，避免CPU持续占满被系统杀掉进程。
• 图库量级超过10万时，可优先处理近1年的新增图片，更早的图片用户主动触发后再计算。

内容的提问来源于stack exchange，提问作者bsgal