运行亚马逊爬虫代码遇ChromeDriverManager参数错误,Flipkart可正常运行
问题分析
这个错误是因为你使用的webdriver-manager版本较新,而PyScrappy库的amazon_scrapper方法内部调用ChromeDriverManager时,传入了新版本已移除的print_first_line参数。Flipkart爬取正常是因为该库的flipkart_scrapper方法没有使用这个过时参数。
解决方案
有两种可行的解决方式:
方式1:降级webdriver-manager到兼容版本
在终端执行以下命令,安装支持print_first_line参数的旧版本:
pip install webdriver-manager==3.8.6
方式2:修改PyScrappy库的源码
- 执行
pip show PyScrappy查看库的安装路径(对应输出里的Location字段) - 打开该路径下实现亚马逊爬虫的模块文件(通常是
ECommerceScrapper.py) - 找到调用
ChromeDriverManager的代码行,类似:driver = webdriver.Chrome(service=Service(ChromeDriverManager(print_first_line=False).install())) - 移除
print_first_line=False参数,修改为:driver = webdriver.Chrome(service=Service(ChromeDriverManager().install())) - 保存文件后重新运行爬虫代码
内容的提问来源于stack exchange,提问作者dheer t
相关产品推荐
相关产品推荐

