Scrapy爬虫运行报错求助：命令行执行失败但Shell可正常爬取

嘿，我帮你分析下这个问题——你遇到的情况很典型：运行scrapy crawl reddit时出现Spider错误，但在Scrapy Shell里却能正常爬取。结合你的代码和日志来看，主要有两个核心问题需要修正：

1. XPath路径使用错误（最关键的原因） #

你在循环遍历posts节点的时候，用了**绝对路径//**来提取标题和正文，这会导致每次循环都从整个HTML文档的根节点开始查找，而不是从当前的post子节点下查找。这种写法不仅会提取到重复的内容，还可能因为节点匹配逻辑混乱引发解析错误，最终触发Spider error。

要解决这个问题，只需要把循环内的//改成.//（相对路径，代表从当前节点开始向下查找）。

2. 缺失自定义User-Agent，触发Reddit反爬机制 #

Reddit有基础的反爬检测，Scrapy默认的请求头（User-Agent为Scrapy/[版本号]）很容易被识别为爬虫。虽然你在Scrapy Shell里能正常爬取，但Shell可能继承了浏览器的请求头，而爬虫运行时用的是默认标识，这会导致返回的页面结构异常，进而引发解析失败。

我们可以通过配置自定义User-Agent来模拟浏览器请求，绕过这个限制。

修改后的完整代码 #

import scrapy

class RedditSpider(scrapy.Spider):
    name = 'reddit'
    allowed_domains = ['www.reddit.com']
    start_urls = ['https://www.reddit.com/r/help/search?q=hydrochlorothiazide/']
    
    # 配置自定义User-Agent，模拟浏览器请求
    custom_settings = {
        'USER_AGENT': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
    }

    def parse(self, response):
        # 精准定位搜索结果组节点（指定div标签，避免匹配其他类型节点）
        posts = response.xpath('//div[@class="search-result-group"]')
        for post in posts:
            # 使用相对路径.//从当前post节点下提取标题
            header = post.xpath('.//a[@class="search-result-header"]/text()').extract_first()
            # 同样用相对路径提取正文内容
            text = post.xpath('.//div[@class="md"]/p/text()').extract_first()
            
            # 处理空值，避免返回None影响结果可读性
            yield {
                'Header': header.strip() if header else '无标题',
                'Text': text.strip() if text else '无正文'
            }

额外优化说明 #

• 我在XPath里明确指定了标签类型（比如div、a），让节点定位更精准，减少不必要的匹配错误。
• 添加了空值处理逻辑，避免爬取到空内容时返回None，让输出结果更规整。

现在你再运行scrapy crawl reddit，应该就能正常提取标题和正文了。如果还是有问题，可以在parse方法里先打印response.text，对比Shell里的页面内容，确认是否还有其他反爬限制。

内容的提问来源于stack exchange，提问作者vignesh_md