关于StormCrawler的五项技术配置与功能问题咨询

我来逐个帮你拆解这些爬虫使用中的疑问：

1. 禁止抓取含“shop”的站点的正则写法问题 #

你用-(shop)的写法是不正确的，这只会匹配单独的"shop"单词（比如URL是http://shop.com这种刚好是shop的情况），但对于包含shop的其他URL（比如http://myshop.com或http://example.com/shop-page）就无法匹配过滤。

正确的写法应该是在default-regex-filters.txt中使用：

-.*shop.*

解释下这个正则：

• -表示排除规则
• .*匹配任意字符（包括空），所以.*shop.*能匹配任何包含"shop"子串的URL，不管它在开头、中间还是结尾。

另外要确认你是否正确启用了这个过滤文件的配置，确保爬虫加载了该规则。

2. maxDepth参数的作用与适用场景 #

maxDepth的核心作用是控制爬虫从起始URL开始的抓取层级深度：

• 起始URL（比如你说的/home）的深度为0
• 起始页面直接跳转的链接（一级点击）深度为1
• 深度1页面里的链接深度为2，以此类推

你的场景完全适用这个参数：如果把maxDepth设为1，爬虫就只会抓取/home页面，以及从/home直接点击能到达的所有一级页面，不会再深入抓取更下层的内容。

如果你的爬虫是多站点启动，需要单独对某个站点设置深度，那可能需要结合站点范围的配置（比如scope规则），但单站点场景下maxDepth=1就完全满足需求。

3. Elasticsearch中Discovered与Fetched指标的定义与异常情况 #

先明确两个指标的准确定义：

• Discovered：爬虫通过解析页面、种子URL等方式发现的唯一待抓取URL数量（会自动去重，同一个URL只会被统计一次）
• Fetched：爬虫实际成功抓取到内容的URL抓取次数（同一URL如果被重复抓取，每次都会被统计）

出现Fetched大于Discovered的情况是完全合理的，常见原因有两种：

1. 重复抓取同一URL：如果你的爬虫配置了定期刷新抓取（比如更新站点内容），同一个URL会被多次抓取，这时候Fetched的累计次数就会超过Discovered的唯一URL数。
2. 统计范围差异：Discovered通常统计的是当前待处理队列中的URL数，而Fetched是爬虫启动以来的累计成功抓取次数。当队列里的URL被处理完后，Discovered数值会下降，但Fetched是累计值，就可能出现后者大于前者的情况。

4. parse.emitOutlinks配置项的含义与生效逻辑 #

这个配置项的作用非常直白：控制爬虫解析页面后，是否把页面中的出站超链接添加到待抓取队列中。

当你把它设为false时，爬虫抓取并解析完起始URL的首页后，不会提取页面里的任何链接，自然没有新的抓取任务被加入队列，所以爬虫只会停留在抓取首页这一步，不会继续抓取其他页面。如果需要爬虫深度抓取，这个参数必须设为true。

5. fetcherthreads与threads per Queue的区别与比例关系 #

这两个参数是用来控制爬虫抓取线程的资源分配逻辑：

• fetcherthreads：是爬虫全局的总抓取线程上限，也就是整个爬虫最多能同时运行多少个抓取任务。你配置的200就是全局最多有200个线程在同时抓取。
• threads per Queue：是给每个独立抓取队列（通常按站点划分，避免单个站点占用过多资源）设置的单队列最大线程数。你配置的20就是每个站点队列最多只能用20个线程。

两者的比例关系：
你现在的配置是200总线程 + 每队列20线程，意味着最多同时有10个站点队列能满负荷运行（20×10=200）。这种配置的目的是防止单个热门站点占用所有线程，导致其他站点的抓取任务被阻塞，保证多站点抓取时的资源公平性。

如果你的待抓取站点数量多于10个，那超出的站点队列会等待空闲线程；如果站点数量少于10个，那全局线程只会用到对应数量×20的线程，剩下的线程会处于闲置状态。

内容的提问来源于stack exchange，提问作者Jojo