Docker容器内Scrapyd web界面无法从宿主机访问故障排查求助

问题根因 #

1. Scrapyd实际绑定的是容器内部回环地址127.0.0.1:8080，仅允许容器本地访问，外部宿主机和同网络其他容器的请求都会被拒绝，所以出现connection reset错误。你配置文件中虽然写了bind_address = 0.0.0.0，但启动时没有加载到该配置，所以未生效。
2. Django中调用Scrapyd API的地址缺少端口，同Docker网络下通过服务名访问需要加上目标容器内部的服务端口。

修复步骤 #

• 修正Scrapyd启动命令，指定配置文件路径，确保bind_address=0.0.0.0配置生效。将docker-compose中scrapy服务的command字段修改为：

  command: scrapyd --config /usr/src/remindme_scraper/remind_me_scraper/scrapyd.conf
  

  请将路径替换为你scrapyd配置文件在容器内的实际存放路径，修改后启动日志会显示Scrapyd web console available at http://0.0.0.0:8080/即代表绑定成功。
• 修正Django中Scrapyd连接地址，加上8080端口：

  scrapyd = ScrapydAPI('http://scrapy:8080')
  

• 重启所有容器生效配置：

  docker-compose up -d --force-recreate
  

验证方法 #

1. 进入Django容器执行curl http://scrapy:8080，正常返回Scrapyd页面内容即代表容器互通正常
2. 宿主机访问http://localhost:8000即可正常打开Scrapyd控制台

如果仍有问题，可检查宿主机8000端口是否被其他服务占用，Linux环境可额外检查防火墙是否放开8000端口访问权限。

内容的提问来源于stack exchange，提问作者Denzel Hooke