Storm Crawler爬取带Query String的URL配置问题咨询

针对你遇到的带Query String的URL爬取结果不符合预期的问题，核心原因是Storm Crawler默认的URL归一化、过滤或去重策略会忽略/移除Query参数，以下是具体的配置修改步骤：

• 修改URL归一化规则
  Storm Crawler默认的URL归一化会移除Query参数，需要调整urlnormalizer.json配置来保留指定参数（比如你的format参数）：

  {
    "class": "com.digitalpebble.stormcrawler.util.URLNormalizer",
    "params": {
      "keepQueryParams": "format",
      "removeEmptyParams": true,
      "removeDuplicateParams": true
    }
  }
  

  若需保留所有Query参数，将keepQueryParams设为*即可。

• 调整URL过滤规则
  检查默认的urlfilters.json，确保QueryFilter允许保留目标参数：

  {
    "class": "com.digitalpebble.stormcrawler.filtering.QueryFilter",
    "params": {
      "keep": "format",
      "remove": ""
    }
  }
  

  同样，设keep: "*"可保留所有Query参数，避免过滤。

• 修正URL去重策略
  默认去重逻辑会把带Query和不带Query的URL视为同一资源，需在conf.yaml中修改哈希规则，将Query String纳入去重计算：

  urlhasher:
    class: "com.digitalpebble.stormcrawler.util.URLHasher"
    params:
      "includeQuery": true
  

• 验证请求构造
  可以在Fetcher组件中添加日志输出，确认爬虫实际发送的请求URL完整包含Query String，避免请求构造环节丢失参数。

内容的提问来源于stack exchange，提问作者Biju George