Scrapy爬虫技术需求：跳过当前页，跳转至下一页后开始爬取

嘿，我来帮你搞定这个需求！要在Scrapy里跳过当前页面直接去下一页爬取，其实有两种很实用的方法，看你具体情况选就行：

方式1：直接从下一页启动爬取（已知下一页URL） #

如果已经明确知道下一页的完整URL，那最直接的办法就是把起始请求地址改成下一页的URL，这样Scrapy会直接跳过初始页面，从下一页开始执行爬取逻辑。

另外要提醒你，Scrapy里的起始地址属性是**start_urls（复数形式）**，你代码里写的start_url是拼写错误，得改过来哦。

import scrapy
import re

class ProductSpider(scrapy.Spider):
    name = 'product'
    # 直接把下一页的URL填在这里，替换成实际地址
    start_urls = ['https://www.google.nl/...（下一页完整URL）']

    def parse(self, response):
        # 在这里处理下一页的商品爬取逻辑
        # 示例：提取商品名称（根据实际页面调整CSS选择器）
        for product in response.css('你的商品选择器'):
            yield {
                'product_name': product.css('名称选择器::text').get(),
                # 其他需要提取的字段
            }
        
        # 如果还有更多后续页面，继续自动跳转
        next_page = response.css('.MCpGKc > a::attr(href)').get()
        if next_page:
            yield response.follow(next_page, callback=self.parse)

方式2：请求初始页但不处理内容，直接跳转下一页 #

如果不知道下一页的URL，必须先请求初始页才能获取下一页链接，那可以在parse方法里完全跳过当前页的数据处理，只做“提取下一页链接并跳转”的操作：

import scrapy
import re

class ProductSpider(scrapy.Spider):
    name = 'product'
    # 初始页面URL保持不变
    start_urls = ['https://www.google.nl/search?client=opera&biw=1880&bih=1008&output=search&tbm=shop&q=738678181690&oq=738678181690&gs_l=products-cc.12...0.0.0.2438282.0.0.0.0.0.0.0.0..0.0....0...1ac..64.products-cc..0.0.0....0.65SJMExjNxE#spd=0']

    def parse(self, response):
        # 完全跳过当前页面的处理逻辑，直接找下一页链接
        next_page = response.css('.MCpGKc > a::attr(href)').get()
        if next_page:
            # 发起下一页的请求，回调到parse方法处理下一页内容
            yield response.follow(next_page, callback=self.parse)
        # 这里不写任何处理当前页数据的代码，就等于跳过了当前页

小提示 #

• 一定要验证你用的CSS选择器.MCpGKc > a::attr(href)是否能正确提取到下一页的链接，有时候页面结构会变，可能需要调整选择器。
• Scrapy的response.follow会自动处理相对URL，不用手动拼接绝对地址，非常方便。

内容的提问来源于stack exchange，提问作者Rousblack