Scrapy管道对接MongoDB Atlas 库集已生成但爬取数据未存入的求助

核心触发问题 #

• 唯一索引与缺失字段的冲突
  你为每个集合都设置了link字段的唯一索引，但你贴出的采集样本item仅包含date、index、title三个字段，没有link键。MongoDB对缺失字段的默认赋值为null，第一条无link字段的文档插入后，后续所有缺link字段的文档都会触发唯一键冲突报错（E11000），直接中断插入流程。
  你目前把print('work well')、item打印逻辑放在insert_one操作之前，因此哪怕插入环节因异常失败，控制台依然会输出对应打印内容，造成“流程走到写入步骤”的错觉。
• 类型不匹配导致序列化失败
  pymongo仅支持原生Python dict对象写入，Scrapy自定义的Item类是类字典结构，并非原生dict类型，直接传入insert_one会触发序列化错误。你虽然导入了ItemAdapter但全程未调用转换逻辑，哪怕打印出来的item和字典结构外观一致，本质仍无法被pymongo正确识别。
• 无效的重复索引创建逻辑
  你在每次process_item处理时都重复调用create_index创建索引，虽然MongoDB对重复创建同规则索引的操作会直接跳过，但该逻辑完全冗余，且会放大索引规则本身带来的冲突影响。

对应修正步骤 #

1. 调整索引创建逻辑
   把原来分散在process_item中的建索引操作，移到管道的open_spider生命周期方法中，仅在爬虫启动时执行一次。同时优先解决item缺字段的问题：要么在爬虫采集阶段补全所有item的link唯一值，匹配索引规则；如果暂不需要强制link唯一，可临时移除唯一索引配置，先测试基础写入链路是否通畅。
2. 插入前完成类型转换
   调用ItemAdapter将Scrapy Item转为原生字典，再传入插入方法：

item_dict = ItemAdapter(item).asdict()
collection.insert_one(item_dict)

3. 补充异常捕获与日志
   给所有插入操作加上异常捕获块，通过Scrapy自带的logger输出实际写入错误，替代原来的print调试逻辑：

try:
    collection_events.insert_one(item_dict)
except pymongo.errors.PyMongoError as e:
    spider.logger.error(f"数据写入失败: {str(e)}")

4. 确认基础配置
   检查settings.py中是否正确启用管道配置：

ITEM_PIPELINES = {
    '你的项目路径.pipelines.JeonjueventPipeline': 300,
}

内容的提问来源于stack exchange，提问作者bayayaqd