MongoDB重复数据跳过问题：ETF日度数据每日更新实现咨询

首先得给你点个赞，这个思路非常合理——利用MongoDB的唯一索引特性自动跳过重复数据，配合cron定时更新，完美适配ETF日度数据的增量采集需求。下面我会一步步告诉你怎么落地：

1. 先给MongoDB集合建好唯一索引 #

这是实现"自动跳过"的核心前提。你需要把对应Pandas datetime索引的字段（比如MongoDB里存的date字段）设置为唯一索引，这样MongoDB会自动拦截重复的日期数据。

用Python代码创建索引的示例：

from pymongo import MongoClient

# 连接你的MongoDB实例
client = MongoClient('mongodb://localhost:27017/')
db = client['your_etf_db']
etf_collection = db['daily_etf_data']

# 创建唯一索引，background=True表示后台创建，不阻塞其他操作
etf_collection.create_index('date', unique=True, background=True)

小提醒：如果你的集合里已经有重复的日期数据，创建索引会失败，得先清理掉重复项再执行上面的代码。

2. 选择合适的写入逻辑，让重复数据自动跳过 #

Pandas自带的to_mongo默认是追加插入，遇到重复键会直接报错中断，所以我们需要调整写入方式：

批量插入（推荐，效率更高） #

把DataFrame转成字典列表，用pymongo的insert_many，加上ordered=False参数——这样MongoDB遇到重复数据时会跳过这条，继续插入后面的，不会整个批量任务失败。同时捕获DuplicateKeyError来做日志提示：

import pandas as pd
from pymongo.errors import DuplicateKeyError

# 假设daily_new_data是你当天采集到的DataFrame，带datetime索引
daily_new_data.reset_index(inplace=True)  # 把索引转成普通的date列
data_records = daily_new_data.to_dict('records')

try:
    etf_collection.insert_many(data_records, ordered=False)
    print("当日数据更新完成")
except DuplicateKeyError:
    print("发现已存在的历史数据，已自动跳过重复项")

单条处理（适合小数据量） #

如果数据量不大，也可以遍历每条数据，用update_one设置upsert=False——意思是"找到匹配的就不做任何操作，找不到就插入"：

for record in data_records:
    etf_collection.update_one(
        {'date': record['date']},  # 用date作为匹配条件
        {'$set': record},          # 如果不存在就插入这条数据
        upsert=False               # 存在则跳过
    )

3. 关于cron时间"缓冲"的小建议 #

你提到的时间缓冲非常有必要，给你两个小技巧：

• 不要在收盘后立刻跑任务，建议延迟1-2小时，避免数据源的数据还没更新完全或者有临时修正
• 每次采集时，可以多抓最近1-3天的数据，比如今天抓昨天和前天的，这样即使某天的任务因为故障没跑，也能自动补全，而且因为有唯一索引，不会重复插入

4. 避坑提示 #

• 一定要保证Pandas里的datetime索引和MongoDB的date字段类型一致，都是datetime类型，别一个存字符串一个存datetime对象，不然会导致重复插入
• 给cron任务加个日志文件，记录每次的采集时间、插入条数、跳过条数，方便后续排查问题

内容的提问来源于stack exchange，提问作者Luis Miguel