Windows环境下scrapyd-deploy部署Scrapy项目遇PermissionError求助

环境信息 #

• 操作系统：Windows 10
• Python版本：3.11
• Scrapyd版本：1.4.2
• Scrapy版本：2.11.0

操作详情 #

执行部署命令：

scrapyd-deploy -p data_crawler --version v1

项目目录结构：

D:.
├─data_crawler
│  ├─build
│  │  ├─bdist.win-amd64
│  │  └─lib
│  │      └─data_crawler
│  │          └─spiders
│  ├─data_crawler
│  │  └─spiders
│  ├─dbs
│  ├─dist
│  └─project.egg-info
├─dbs
├─eggs
│  └─data_crawler
└─logs

错误日志 #

2023-09-19T19:56:12+0800 [_GenericHTTPChannelProtocol,2,127.0.0.1] Unhandled Error
... (为简洁截断部分回溯信息)
PermissionError: [WinError 32] The process cannot access the file because it is being used by another process.: 'C:\Users\amy10\AppData\Local\Temp\data_crawler-v1-zs5jfyea.egg'

已确认无其他进程占用目标.egg文件，重启Scrapyd后问题仍存在。

已知原因 #

• 旧版Scrapyd的Windows兼容性缺陷：Scrapyd 1.4.2版本较老，其处理上传egg包的逻辑未适配Windows的文件锁定机制，导致临时文件句柄未正确释放，后续操作无法访问文件。
• Python 3.11与旧版Scrapyd的适配问题：Python 3.11对文件IO的行为做了调整，而Scrapyd 1.4.2未针对该版本优化，引发临时文件的读写锁异常。
• 杀毒软件后台扫描干扰：Windows Defender或第三方杀毒软件可能在后台实时扫描临时生成的egg文件，占用文件句柄，导致部署时出现权限错误。

解决方案 #

• 升级Scrapyd到最新稳定版：执行以下命令升级，新版本修复了Windows下的文件句柄释放问题：

  pip install --upgrade scrapyd
  

• 自定义Scrapyd临时目录：在Scrapyd配置文件（scrapyd.conf）中添加tempdir配置，指定一个非系统默认的临时目录，减少杀毒软件干扰：

  tempdir = D:\scrapyd_custom_temp
  

• 临时关闭杀毒软件实时保护：部署期间暂时关闭Windows Defender实时扫描或第三方杀毒软件，完成部署后再开启，验证是否为杀毒软件导致的问题。
• 手动清理临时文件：删除C:\Users\amy10\AppData\Local\Temp下所有以data_crawler开头的.egg文件，再重新执行部署命令。
• 使用虚拟环境隔离依赖：创建并激活Python虚拟环境，在环境内重新安装Scrapy和Scrapyd，避免全局环境的依赖冲突：

  python -m venv scrapyd_env
  scrapyd_env\Scripts\activate
  pip install scrapy scrapyd scrapyd-client
  

内容的提问来源于stack exchange，提问作者amyyang