如何在PythonAnywhere或Cloud9在线环境中安装运行Scrapy？

PythonAnywhere免费服务层级无法正常运行Scrapy，实测核心限制有三点：

• 免费账户配置了严格的出站网络白名单，仅允许访问平台预先审核通过的站点，Scrapy发起的绝大多数爬取请求会被直接拦截，连官方教程里的示例爬取目标都不在白名单内，根本发不出有效请求
• 免费层不支持持久化后台进程，Scrapy这类需要持续运行的任务，会在网页会话断开、每日CPU运行时长触达免费配额阈值时被系统强制终止，无法跑完完整的爬取流程
• 免费层给用户分配的存储空间、临时编译资源配额有限，手动安装Scrapy时，Twisted、lxml这类带C扩展的依赖经常在编译环节报错失败，官方文档里也确实没有提供免费层安装运行Scrapy的对应指引。

你提到的Cloud9是目前实测下来体验最优的替代选择：

• Cloud9提供完整的Linux云开发环境，用户拥有环境的完整操作权限，直接在内置终端执行pip install scrapy就能完成全量依赖安装，没有出站网络白名单限制，还支持配置进程保活规则运行长时间爬取任务，给新用户的免费额度完全可以覆盖Scrapy学习、小型爬取项目开发的全部需求。
  除此之外还有两个可用的轻量选项：
• 开放完整终端权限的在线Python开发平台：直接通过pip安装Scrapy即可运行脚本，适合做短平快的爬取逻辑测试，缺点是免费层普遍有运行时长限制，跑不了长时间任务
• 带临时开发环境的云服务免费试用实例：可以临时挂载标准Python环境安装Scrapy运行单次爬取任务，缺点是实例留存时间短，每次使用都要重新配置环境，不适合长期开发。

提示：不管用哪个在线环境跑Scrapy，都要遵守平台使用规则和目标站点的爬取协议，不要发起高频恶意请求，否则很容易被平台封号。

内容的提问来源于stack exchange，提问作者NewSites