Capybara + Selenium 多并行请求下CSV文件下载失败问题求助
核心问题根源
- 下载路径全局共用导致写入冲突
你配置中所有Chrome实例的下载目录均指向DownloadHelpers.getpath返回的同一固定路径。Headless Chrome下载时会先生成.crdownload后缀的临时文件,多个并行实例同时下载同名或生成同名临时文件的CSV时,会触发文件锁冲突、临时文件被覆盖、已下载文件被其他进程误清理的问题。2个并发时冲突概率低,3个及以上并发时冲突概率指数上升,直接表现为目标文件下载失败。 - 同进程内并行的会话安全问题
如果你是在单个Rake进程内通过线程并行运行多个Scraper实例,写在Scraper类内的Capybara全局配置(Capybara.default_driver、Capybara.register_driver)进程全局生效,多线程共用Capybara会话池时会出现会话串用、driver实例被多线程同时操作的问题,直接中断下载流程。如果是多进程并行(每个爬虫任务单独启动一个Rake进程),则不存在该问题。 - Chrome资源/句柄限制
Headless Chrome单个实例会占用300~500MB内存、独立文件句柄和调试端口。若当前运行环境未调整ulimit参数,同时开启3个以上Chrome进程时,会出现端口绑定失败、文件句柄不足的问题,导致浏览器直接崩溃,无法完成下载。
快速排查验证方向
- 给每个并行爬虫实例分配独立的下载目录,例如下载路径拼接
Process.pid(多进程场景)或Thread.current.object_id(多线程场景),验证是否能解决并发失败问题。 - 查看运行爬虫的机器的
ulimit -n(文件句柄数)和内存占用,确认3个以上Chrome实例运行时是否出现进程崩溃、句柄不足的报错。
内容的提问来源于stack exchange,提问作者vekozlov
相关产品推荐
相关产品推荐

