指定输出格式运行Scrapy爬虫失败,无报错但无法执行求助
运行Scrapy爬虫失败,无报错但无法执行求助
嗨,我看你遇到的情况是Scrapy直接返回了runspider命令的帮助文档,这说明你的命令参数出问题啦,Scrapy没理解你要执行爬虫的正确指令。
先看你用的命令:
(.venv) PS C:\Users\dodge\PycharmProjects\Scraper> scrapy runspider merclibre.py -o mercadolibre.csv -t csv
这里的问题在于-t csv这个参数——scrapy runspider命令本身并不支持-t选项来指定输出格式,所以Scrapy把它当成了无效参数,直接输出帮助信息提示你正确用法。
你可以试试这两种修正后的命令:
- 方法一:去掉
-t csv,因为你输出的文件名后缀是.csv,Scrapy会自动识别输出格式为CSV:scrapy runspider merclibre.py -o mercadolibre.csv - 方法二:如果想要明确指定格式,可以用
-o参数的文件:格式写法,不用额外加-t:scrapy runspider merclibre.py -o mercadolibre.csv:csv
另外也可以顺便检查下你的merclibre.py爬虫文件本身有没有符合Scrapy规范:
- 有没有定义继承自
scrapy.Spider的类? - 这个类有没有设置
name属性? - 有没有
start_urls列表或者start_requests()方法?
如果参数改对后还是不行,那大概率是爬虫文件的代码有问题,不过先解决参数问题应该就能让爬虫跑起来啦。
备注:内容来源于stack exchange,提问作者Thejudg 47
相关产品推荐
相关产品推荐

