JavaScript中能否将正则表达式存入Set对象以拦截特定站点URL？

直接把正则表达式存在原来的visited Set里是行不通的——因为Set.has()是严格相等匹配，它只会检查两个值的引用或原始值是否完全一致，没法用正则去匹配字符串URL。不过我们可以给你的爬虫扩展一个专门用来存储拦截规则的集合，配合原有逻辑实现需求。

具体实现步骤 #

1. 扩展构造函数，新增拦截规则集合
   在构造函数里加一个blockPatterns Set，专门用来存放你要拦截的正则表达式：

   class SimpleCrawler {
     constructor() {
       this.visited = new Set(); // 原有的已访问/无效URL集合
       this.blockPatterns = new Set(); // 新增：存储拦截用的正则规则
       this.queue = []; // 假设你的爬虫有任务队列
     }
   }
   

2. 添加管理拦截规则的方法
   写一个方法来安全地添加拦截正则，避免传入非正则类型的错误：

   addBlockPattern(regex) {
     if (!(regex instanceof RegExp)) {
       throw new Error('请传入正则表达式对象哦');
     }
     this.blockPatterns.add(regex);
   }
   

3. 新增拦截检查逻辑
   写一个辅助方法，用来判断某个URL是否命中任何拦截规则：

   shouldBlock(url) {
     for (const pattern of this.blockPatterns) {
       // 重置全局正则的lastIndex，避免连续匹配时出错
       pattern.lastIndex = 0;
       if (pattern.test(url)) {
         return true;
       }
     }
     return false;
   }
   

4. 修改入队前的检查流程
   在把新URL加入队列前，先检查是否命中拦截规则，再检查是否已被访问过：

   enqueueURL(newURL) {
     // 第一步：检查是否命中拦截规则
     if (this.shouldBlock(newURL)) {
       console.log(`跳过拦截URL: ${newURL}`);
       // 也可以把拦截的URL加入visited，避免重复检查
       this.visited.add(newURL);
       return;
     }
   
     // 第二步：检查是否已访问/处理过
     if (this.visited.has(newURL)) {
       console.log(`URL已处理过: ${newURL}`);
       return;
     }
   
     // 正常入队并标记为已访问
     this.queue.push(newURL);
     this.visited.add(newURL);
     console.log(`URL加入队列: ${newURL}`);
   }
   

测试使用示例 #

const crawler = new SimpleCrawler();
// 添加你需要的拦截规则：匹配www.xxx.com/数字格式的URL
crawler.addBlockPattern(/www\.xxx\.com\/\d+/);

// 测试几个URL
crawler.enqueueURL('www.xxx.com/123'); // 命中拦截，跳过
crawler.enqueueURL('www.xxx.com/abc'); // 正常入队
crawler.enqueueURL('www.yyy.com/456'); // 正常入队
crawler.enqueueURL('www.xxx.com/789'); // 命中拦截，跳过

小提示 #

• 如果你不需要全局匹配，建议去掉正则的g标志，这样就不用手动重置lastIndex了；
• 可以根据需求扩展规则，比如支持添加多个正则，或者允许移除规则；
• 拦截后的URL可以选择加入visited，避免后续重复检查，提升效率。

内容的提问来源于stack exchange，提问作者RNA