Pymongo正则表达式过滤器是否会拖慢百万级数据查询？

正则过滤确实会显著增加时间复杂度 #

是的，正则表达式过滤本身会大幅拉高查询的时间复杂度，尤其是在无索引加持的场景下：

• 若url字段未建索引，MongoDB会执行全表扫描（遍历100万条数据），每个文档的url都要经过正则匹配判断，而正则匹配属于O(n)级的字符串操作；
• 你当前用$and串联10个$not正则，意味着每个文档要被10次正则判断，时间复杂度直接变为O(N*M)（N是数据量，M是正则数量），100万数据叠加多次正则计算，速度慢是必然结果。

你的代码存在的冗余与风险 #

1. 正则条件冗余：10个针对url的$not正则完全没必要用$and拆分，MongoDB会重复对同一个字段做多次匹配，纯属于浪费计算资源。
2. 无索引导致全表扫描：没有索引的情况下，100万条数据的全量遍历+多次正则匹配，耗时会非常夸张。
3. 内存溢出风险：直接把所有查询结果塞进random_url_list，如果过滤后数据量较大，会快速耗尽内存，进一步拖慢进程。

针对性优化方案 #

1. 合并正则规则 #

把10个要排除的正则模式合并成一个，只做一次$not判断：

import re
# 将多个排除模式用|（或）合并成单个正则
COMBINED_REGEX = re.compile(r'pattern1|pattern2|...|pattern10')
FILTER = {'url': {'$not': COMBINED_REGEX}}

这样每个文档只需做一次正则匹配，直接减少90%的正则计算量。

2. 给url字段创建索引 #

执行MongoDB命令创建索引：

db.info.createIndex({url: 1})

• 如果你的正则是前缀匹配（比如^https://example.com），索引会被完全利用，查询速度会呈数量级提升；
• 即使是非前缀正则，索引也能帮助MongoDB快速缩小扫描范围，比全表扫描高效很多。

3. 分批处理数据，避免内存过载 #

不要一次性把所有结果加载到内存，改成分批处理：

cursor = db.info.find(FILTER, FIELDS, batch_size=1000)

batch_size = 10000
current_batch = []
for i, scrape in enumerate(cursor):
    if i % 50 == 0:
        print(i, scrape)
    current_batch.append(scrape)
    # 达到批次大小就执行业务处理
    if len(current_batch) >= batch_size:
        # 替换为你的实际处理逻辑，比如写入文件/数据库
        # process_batch(current_batch)
        current_batch = []
# 处理最后一批剩余数据
if current_batch:
    # process_batch(current_batch)
    pass

4. 优化正则表达式本身 #

检查你的正则是否存在低效写法（比如过度贪婪匹配、嵌套重复导致大量回溯），可以用正则测试工具验证匹配效率，简化正则逻辑。

5. 查看执行计划定位瓶颈 #

用MongoDB的执行计划命令，确认查询是否用到索引：

db.info.explain().find(FILTER, FIELDS)

如果输出中stage字段是COLLSCAN，说明是全表扫描，必须加索引；如果是IXSCAN，说明索引生效。

内容的提问来源于stack exchange，提问作者F1g N3wt0n