You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

如何在PHP中执行Scrapy爬虫脚本?附示例爬虫说明

我的Scrapy爬虫实现

我在本地搭建了一个Scrapy爬虫项目,项目主目录是/home/zouhir/scrap/sot(项目名是sot),运行爬虫的时候,直接在这个目录下执行命令 scrapy crawl quotes 就行。

下面是我的爬虫代码:

import scrapy

class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/page/1/',
        'http://quotes.toscrape.com/page/2/',
    ]

    def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').extract_first(),
                'author': quote.css('small.author::text').extract_first(),
                # 猜测你原本的代码可能被截断了,如果需要提取标签,可补充如下代码
                # 'tags': quote.css('div.tags a.tag::text').extract()
            }

注:我看到代码里的extract_fir...应该是输入时截断了,顺手帮你补全成了extract_first(),如果还有其他字段需要提取,可以参照注释里的示例添加。

内容的提问来源于stack exchange,提问作者HeyHude

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.05.26 09:04:59