Ubuntu下安装Stormcrawler注入seeds.txt失败：端口7071连接被拒

核心原因 #

出现localhost/127.0.0.1:7071连接被拒绝的gRPC错误，本质是URL Frontier服务未运行、端口不匹配，或网络连通性受阻——Stormcrawler依赖URL Frontier管理URL队列，注入种子时需与该服务建立gRPC连接。

排查与解决步骤 #

• 检查URL Frontier服务状态
  执行以下命令确认服务是否在运行：

  ps aux | grep urlfrontier
  netstat -tulpn | grep 7071
  

  如果没有相关进程或端口未被监听，说明服务未启动。

• 启动URL Frontier服务
  根据你的部署方式启动服务：

  • 独立运行模式：

    java -jar path/to/urlfrontier-<version>-server.jar
    

  • Storm拓扑集成模式：
    确认包含URL Frontier组件的拓扑已提交并运行，用storm list查看拓扑状态，若未运行则重新提交：

    storm jar target/crawler-1.0-SNAPSHOT.jar org.apache.storm.flux.Flux --local crawler.flux
    

• 验证端口配置一致性
  检查URL Frontier的配置文件（如application.yml）中grpc.server.port是否为7071，若端口不同，注入命令需指定对应端口：

  java -cp target/crawler-1.0-SNAPSHOT.jar crawlercommons.urlfrontier.client.Client PutURLs -f seeds.txt -p <实际端口>
  

• 测试网络连通性
  用以下命令验证端口是否可访问：

  nc -zv localhost 7071
  

  若连接失败，检查Ubuntu防火墙状态：

  sudo ufw status
  

  若防火墙开启，允许7071端口：

  sudo ufw allow 7071
  

• 确认Stormcrawler配置关联
  检查Stormcrawler的crawler-conf.yaml配置文件，确保url.frontier.addresses指向正确的服务地址：

  url.frontier.addresses: ["localhost:7071"]
  

内容的提问来源于stack exchange，提问作者Ahmad Afzaal