如何在PHP中执行Scrapy爬虫脚本?附示例爬虫说明
我的Scrapy爬虫实现
我在本地搭建了一个Scrapy爬虫项目,项目主目录是/home/zouhir/scrap/sot(项目名是sot),运行爬虫的时候,直接在这个目录下执行命令 scrapy crawl quotes 就行。
下面是我的爬虫代码:
import scrapy class QuotesSpider(scrapy.Spider): name = "quotes" start_urls = [ 'http://quotes.toscrape.com/page/1/', 'http://quotes.toscrape.com/page/2/', ] def parse(self, response): for quote in response.css('div.quote'): yield { 'text': quote.css('span.text::text').extract_first(), 'author': quote.css('small.author::text').extract_first(), # 猜测你原本的代码可能被截断了,如果需要提取标签,可补充如下代码 # 'tags': quote.css('div.tags a.tag::text').extract() }
注:我看到代码里的extract_fir...应该是输入时截断了,顺手帮你补全成了extract_first(),如果还有其他字段需要提取,可以参照注释里的示例添加。
内容的提问来源于stack exchange,提问作者HeyHude
相关产品推荐
相关产品推荐

