如何使用Scrapy下载带透明背景的WebP格式图片

默认Scrapy Images Pipeline会强制将图片转为RGB模式的JPG格式，导致透明背景丢失。要保留WebP图片的透明通道，需要通过自定义Pipeline修改图片处理逻辑，步骤如下：

1. 调整项目配置 #

在settings.py中修改以下配置：

• 允许WebP格式作为合法图片扩展名
• 替换默认的ImagesPipeline为自定义实现

# 允许的图片格式，添加webp
IMAGES_ALLOWED_EXTENSIONS = {'jpg', 'jpeg', 'png', 'webp'}
# 启用自定义图片管道
ITEM_PIPELINES = {
    'your_project.pipelines.CustomImagesPipeline': 1,
}
# 图片存储路径（按需设置）
IMAGES_STORE = './images'

2. 自定义图片处理管道 #

在项目的pipelines.py中创建自定义Pipeline类，继承自Scrapy的ImagesPipeline，重写convert_image方法以保留透明通道和原格式：

from scrapy.pipelines.images import ImagesPipeline
from PIL import Image
import io

class CustomImagesPipeline(ImagesPipeline):
    def convert_image(self, image, path, size=None):
        # 保留图片的原始色彩模式（如RGBA），避免强制转为RGB
        if image.mode not in ('RGB', 'RGBA'):
            image = image.convert('RGBA')
        
        # 处理缩略图（如果配置了IMAGES_THUMBS则生效）
        if size:
            image = self.resize_image(image, size)
        
        # 以WebP格式保存，保留透明通道
        buf = io.BytesIO()
        # 优先使用图片原始格式，否则强制用WebP
        save_format = image.format if image.format in ('WEBP', 'PNG') else 'WEBP'
        # lossless=True保证透明通道无损保存
        image.save(buf, format=save_format, lossless=True)
        return image, buf

3. 确保Pillow支持WebP #

Pillow默认可能没有WebP编码支持，需要安装带WebP扩展的版本：

pip install pillow[webp]

关键说明 #

• 默认ImagesPipeline的convert_image方法会强制将图片转为RGB模式并保存为JPG，这是透明背景丢失的核心原因。
• 自定义管道通过保留RGBA模式、指定WebP格式保存，确保透明通道不丢失。
• 若爬取的图片本身就是WebP格式，以上配置会直接保留原格式和透明背景；若为其他支持透明的格式（如PNG），也会转为WebP并保留透明。

内容的提问来源于stack exchange，提问作者plainsimplepython