Scrapy爬虫无法爬取本地HTTP服务的问题求助

我之前用Scrapy写了个小型网络爬虫，开发的时候为了不打扰真实网站，一直用本地镜像做测试。当时用python -m http.server 8000启动本地服务，爬虫跑起来完全没问题。

可最近把开发环境换到Mac上之后，怪事就来了——爬虫好像连尝试访问本地HTTP服务的动作都没有，日志里只刷出重试的记录：

2025-05-18 20:05:43 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying <GET http://localhost:1234/robots.txt> (failed 1 times): [<twisted.python.failure

有没有大佬能帮忙分析下这是咋回事呀？

内容来源于stack exchange