如何在Flow StormCrawler中禁用子域名及流式注入子域名？

我来帮你解决这两个关于Flow StormCrawler限制子域名的问题，这都是爬虫开发里很常见的需求：

要禁止爬虫爬取子域名页面，核心是通过URL过滤规则实现，StormCrawler自带的工具就能轻松搞定：

• 先打开你的爬虫配置文件（通常是crawler-conf.yaml），确认urlfilters列表里包含com.digitalpebble.stormcrawler.filtering.basic.DomainURLFilter——这个过滤器专门处理域名级别的过滤，一般默认就有，但最好检查一下。
• 添加以下配置项：

  domain.include: ebay.com
  domain.include.subdomains: false
  

  配置后，爬虫只会允许主域名ebay.com下的URL，所有子域名（比如my.ebay.com、community.ebay.com）都会被直接过滤，不会进入爬取流程。
• 如果你需要更灵活的规则，也可以用正则过滤。找到urlfilters.config.file指定的配置文件（比如urlfilters.txt），添加规则：

  # 允许主域名ebay.com的所有URL
  +^https?://ebay\.com/.*
  # 拒绝所有ebay.com的子域名URL
  -^https?://([^/]*\.)+ebay\.com/.*
  

当你注入www.ebay.com后，爬虫会提取页面里的子域名链接并注入流中？要解决这个问题，得从源头和过滤两个环节入手：

• 首先确保上面的URL过滤规则已经生效：即使链接提取器拿到了子域名链接，过滤环节也会把它们拦截下来，不会注入到后续的爬取队列里。
• 其次可以直接在链接提取阶段就限制，不让子域名链接生成。在配置文件里设置使用DomainLinkExtractor：

  linkextractor.class: com.digitalpebble.stormcrawler.linkextractor.DomainLinkExtractor
  linkextractor.domain.include: ebay.com
  linkextractor.domain.include.subdomains: false
  

  这样链接提取器只会提取主域名ebay.com下的链接，根本不会生成子域名的URL，从源头避免了子域名注入的问题。
• 额外注意：如果你的需求是只允许www.ebay.com而不是整个主域名，只需要把配置里的ebay.com改成www.ebay.com，同样设置subdomains: false，这样就只会爬取www子域名，其他子域名都会被排除。

内容的提问来源于stack exchange，提问作者Ivan