Scrapy爬虫删除文件遇WinError 32权限错误的解决求助

我之前在写Scrapy爬虫处理文件的时候，也碰到过一模一样的WinError 32权限问题——明明全程用with语句处理文件，按道理应该自动关闭了，结果删文件的时候还是提示“文件正在被另一个进程使用”，折腾了好半天。先给你拆解下问题，再说说可行的解决办法：

首先得明确：Python没有内置的“一键关闭所有打开文件”的官方方法，因为这太容易出问题了（比如会误关标准输入输出、网络连接的句柄），但我们可以通过工具排查+针对性处理来解决你的问题。

第一步：先搞清楚到底是谁在占用文件 #

很多时候你以为是自己的代码没关文件，其实可能是Scrapy的某个组件（比如管道、中间件）或者Python的垃圾回收延迟释放了句柄。这时候用psutil库来排查是最靠谱的，能直接列出当前Python进程打开的所有文件：

先安装库：

pip install psutil

然后在你执行删除文件的代码前，加一段排查代码：

import psutil
import os

def check_open_files():
    current_process = psutil.Process(os.getpid())
    print("当前进程打开的文件列表：")
    for file_info in current_process.open_files():
        print(f"→ {file_info.path}")

# 调用这个函数，看看哪个文件还没被释放
check_open_files()

运行后你就能看到所有被当前Python进程占用的文件路径，直接定位到目标文件，接下来就好办了。

第二步：针对性关闭文件句柄 #

如果排查后发现是自己代码里某个地方漏关了，那直接修正：

• 确保所有open()的操作都用with语句包裹，比如：

  with open("output.txt", "w") as f:
      f.write("内容")
  # 这里with结束后自动关闭，不会留尾巴
  

• 如果是在Scrapy管道里处理文件，一定要在close_spider方法里显式关闭所有打开的文件对象，比如：

  class MyFilePipeline:
      def __init__(self):
          self.file = None
  
      def open_spider(self, spider):
          self.file = open("spider_data.txt", "a")
  
      def process_item(self, item, spider):
          self.file.write(f"{item}\n")
          return item
  
      def close_spider(self, spider):
          # 爬虫结束时必须关闭文件
          if self.file and not self.file.closed:
              self.file.close()
  

第三步：极端情况的“暴力关闭”（仅限测试环境） #

如果实在找不到漏关的地方，或者是Scrapy内部组件占用了文件，那可以试试遍历Python的所有对象，强制关闭所有文件类型的句柄。但这个方法非常危险，生产环境绝对别用，因为可能会关了系统需要的句柄（比如日志输出、标准输出），导致程序崩溃：

import gc
import io

def force_close_all_files():
    # 遍历所有被垃圾回收追踪的对象
    for obj in gc.get_objects():
        try:
            # 匹配常见的文件IO对象类型
            if isinstance(obj, (io.TextIOWrapper, io.BufferedReader, io.BufferedWriter)):
                if not obj.closed:
                    print(f"强制关闭文件：{obj.name}")
                    obj.close()
        except Exception as e:
            # 忽略无法关闭的对象，避免报错中断
            pass

# 删除文件前调用
force_close_all_files()

额外的小技巧 #

• 确保删除文件时，Scrapy爬虫已经完全停止，所有后台线程都结束了——有时候爬虫的异步线程还在占用文件。
• Windows下可以试试用os.unlink()代替os.remove()，虽然两者功能差不多，但偶尔能绕过一些系统的锁定问题。
• 如果排查后发现是其他系统进程（比如资源管理器的文件预览、杀毒软件）占用了文件，那得手动关闭这些进程，或者等它们释放后再删除。

总的来说，最稳妥的办法还是先定位到具体的占用文件，再针对性修复代码里的文件操作逻辑，暴力关闭所有文件只能作为最后无奈的测试手段。

内容的提问来源于stack exchange，提问作者Amirition