Scrapy实现不下载图片获取图片尺寸是否可行？

答案是可行的，但仅靠HEAD请求不一定能实现，具体分两种情况处理：

1. 依赖服务器自定义响应头（不稳定） #

部分服务器会在响应头中添加自定义字段（比如X-Image-Width、X-Image-Height）返回图片尺寸，这时用HEAD请求就能拿到这些信息。但这种方式完全依赖服务器配置，不具备通用性。

2. 解析图片文件头（通用方案） #

图片的尺寸信息（比如JPEG、PNG格式）都存储在文件的前几百字节里。我们可以通过**HTTP范围请求（Range Request）**只下载图片的开头部分，再解析这些字节提取尺寸，无需下载完整图片。

针对你的Scrapy代码的优化实现 #

你当前的HEAD请求逻辑可以修改为范围请求，示例代码如下：

def parse_product(self, response):
    images = response.css(".swiper-slide::attr(data-large)").getall()
    if images:
        image_url = images[0]
        # 发送范围请求，只获取前512字节
        yield Request(
            image_url,
            method="GET",
            headers={"Range": "bytes=0-511"},
            callback=self.parse_image_dimension,
            meta={"image_url": image_url}
        )

def parse_image_dimension(self, response):
    # 解析图片前512字节获取尺寸
    image_data = response.body
    width, height = self.get_image_dimensions(image_data)
    print(f"图片尺寸：{width}x{height}")
    # 后续业务逻辑...

def get_image_dimensions(self, image_data):
    # JPEG格式解析示例
    if image_data.startswith(b"\xff\xd8"):
        i = 2
        while i < len(image_data):
            if image_data[i:i+2] == b"\xff\xc0":
                # 提取SOF0段中的尺寸信息
                height = (image_data[i+5] << 8) | image_data[i+6]
                width = (image_data[i+7] << 8) | image_data[i+8]
                return width, height
            # 跳过当前段，继续查找
            segment_length = (image_data[i+2] << 8) | image_data[i+3]
            i += segment_length + 2
    # 可扩展PNG、GIF等格式的解析逻辑
    return None, None

补充简化方案 #

如果不想自己写解析逻辑，可以用第三方库简化：

from PIL import ImageFile

def get_image_dimensions(self, image_data):
    parser = ImageFile.Parser()
    parser.feed(image_data)
    if parser.image:
        return parser.image.size
    return None, None

注意事项 #

• 不是所有服务器都支持范围请求：支持时返回206 Partial Content，不支持则返回200 OK（会拿到完整图片），可以根据状态码做分支处理。

内容的提问来源于stack exchange，提问作者epope