如何高效批量计算URL图片的哈希值？

你的瓶颈主要来自单线程串行处理（网络下载+哈希计算排队等待）和大尺寸图片的计算开销，可以从以下几个方向针对性优化：

1. 并行处理：同时下载+计算多张图片 #

网络请求属于IO密集型操作，单线程等下载完再算哈希完全浪费时间，用多线程/异步IO可以同时处理多个任务，直接拉满吞吐量。

多线程示例（用concurrent.futures） #

import imagehash
from PIL import Image
import requests
from concurrent.futures import ThreadPoolExecutor, as_completed

# 复用requests会话，减少TCP连接建立的重复开销
session = requests.Session()
session.headers.update({"Accept-Encoding": "gzip, deflate"})  # 开启压缩，减少下载数据量

def get_hash(image_url) -> str:
    try:
        with session.get(image_url, stream=True, timeout=10) as resp:
            resp.raise_for_status()
            image_data = Image.open(resp.raw)
            # 先缩小图片再算哈希，大幅降低CPU计算量
            image_data.thumbnail((256, 256))
            return str(imagehash.phash(image_data))
    except Exception as e:
        print(f"处理{image_url}失败: {e}")
        return None

# 假设image_urls是从JSON读取的3000个URL列表
image_urls = [...]

# 线程数根据网络带宽调整，一般设10-20即可
with ThreadPoolExecutor(max_workers=15) as executor:
    futures = {executor.submit(get_hash, url): url for url in image_urls}
    for future in as_completed(futures):
        url = futures[future]
        hash_val = future.result()
        if hash_val:
            # 这里执行和本地哈希对比的逻辑
            print(f"{url}: {hash_val}")

2. 缩小图片尺寸再计算哈希 #

phash基于图片低频特征生成哈希，缩小图片后核心特征完全保留，不影响对比结果，但能把2400x1600的像素量降到原来的1%左右，计算速度提升数倍。上面代码里的image_data.thumbnail((256, 256))就是关键一步，一定要加。

3. 优化网络请求细节 #

• 用requests.Session复用TCP连接，避免每次请求都重新握手
• 开启gzip/deflate压缩，减少下载的数据体积
• 设置合理超时时间，避免慢请求卡住整个流程

4. 换更快的哈希算法 #

如果对哈希精度要求不是极致高，可以替换成更快的算法：

• imagehash.average_hash()：比phash快，适合快速对比
• imagehash.dhash()：速度优于phash，侧重边缘特征识别

比如把代码里的imagehash.phash(image_data)换成imagehash.average_hash(image_data)，计算速度能明显提升。

效果预估 #

按上述优化，单线程每秒1个的效率能提升到每秒10-20个甚至更多，3000张图的处理时间能从几小时压缩到几分钟。

内容的提问来源于stack exchange，提问作者user3881355