如何在Scrapy Pipeline中按分类将抓取数据存入不同字典并实现分库存储

当然有可行的方法！你只需要在pipelines.py中自定义一个Pipeline类，通过初始化两个字典来分别存储business和sports分类的数据，再根据item的category字段做判断分流，最后在爬虫结束后处理这两个字典的数据即可。下面是具体的实现步骤和代码示例：

1. 编写自定义Pipeline类 #

在你的项目pipelines.py文件中添加以下代码：

class DawnCategoryPipeline:
    def open_spider(self, spider):
        # 爬虫启动时初始化两个空字典，用于存储不同分类的数据
        self.business_data = {}
        self.sports_data = {}
        # 用自增ID作为字典的键，也可以换成新闻的URL等唯一标识
        self.business_counter = 1
        self.sports_counter = 1

    def process_item(self, item, spider):
        # 根据item的category字段，将数据分流到对应字典
        if item['category'] == 'business':
            # 将Scrapy Item转换为普通字典存入
            self.business_data[self.business_counter] = dict(item)
            self.business_counter += 1
        elif item['category'] == 'sports':
            self.sports_data[self.sports_counter] = dict(item)
            self.sports_counter += 1
        
        # 必须返回item，保证后续Pipeline（如果有的话）能继续处理
        return item

    def close_spider(self, spider):
        # 爬虫结束后，在这里处理两个字典的数据，比如批量存入数据库
        print(f"已抓取到 {len(self.business_data)} 条商业新闻")
        print(f"已抓取到 {len(self.sports_data)} 条体育新闻")
        
        # 这里替换成你的数据库存储逻辑，示例如下：
        # self.batch_insert_to_db(self.business_data, 'business_news')
        # self.batch_insert_to_db(self.sports_data, 'sports_news')

    def batch_insert_to_db(self, data_dict, table_name):
        # 模拟批量插入数据库的方法，根据你的数据库类型修改
        # 比如使用pymysql、SQLAlchemy等库实现实际插入
        pass

2. 启用Pipeline #

在项目的settings.py中找到ITEM_PIPELINES配置，添加你的自定义Pipeline：

ITEM_PIPELINES = {
    # 替换成你的项目名称，比如my_scrapy_project.pipelines.DawnCategoryPipeline
    'your_project_name.pipelines.DawnCategoryPipeline': 300,
}

一些注意事项 #

• 内存优化：如果抓取的数据量很大，建议不要一直把数据存在内存字典里，可以每积累N条数据就触发一次数据库插入，避免内存占用过高。
• 数据去重：如果需要避免重复数据，可以把字典的键换成新闻的唯一标识（比如新闻详情页的URL），存入前先判断该键是否已存在。
• 字段一致性：确保爬虫传递的category字段值和Pipeline中判断的完全一致（比如大小写、拼写，你的代码里是business和sports，要保持统一）。

内容的提问来源于stack exchange，提问作者Adeena Lathiya