Scrapy爬虫中print_urls()函数无法执行问题求助

数据老陈

2026-8-13

问题原因及解决办法

核心问题：生成器函数未被迭代

你的print_urls()是生成器函数（内部使用了yield），直接调用self.print_urls()不会触发函数内的代码执行——生成器只有在被迭代（比如for循环、yield from语法）时才会运行。

具体修改步骤

1. 修复`handle_inscriptions`中的调用方式

把直接调用生成器的代码，改成用yield from迭代生成器，这样既能触发print_urls执行，又能把生成的Item返回给Scrapy：

def handle_inscriptions(self, response):
    homes, success = self.success(response)
    if success == True:
        print(Fore.GREEN + 'Count ' + str(homes['d']['Result']['count']) + Style.RESET_ALL)
    # 直接创建Selector并传入函数，不用实例变量存储
    html_selector = Selector(text=homes['d']['Result']['html'])
    # 迭代生成器并返回结果
    yield from self.print_urls(html_selector)

2. 修改`print_urls`函数，用参数传递Selector

不要用实例变量self.html传递数据，改成参数传入更安全，避免多请求并发时的变量覆盖问题：

def print_urls(self, page_html):
    print('try')
    homes = page_html.xpath('//div[contains(@class, "property-thumbnail-item")]')
    for home in homes:
        yield {
            'home_url': home.xpath('.//a[@class="property-thumbnail-summary-link"]/@href').get()
        }

3. 修复`success`函数的返回值漏洞

当请求失败时，原函数只返回False，但调用时用了homes, success = self.success(response)的解包语法，会触发报错。修改为统一返回两个值：

def success(self, response):
    my_dict = literal_eval(response.body.decode('utf-8').replace(':true}', ':True}'))
    if my_dict['d']['Succeeded'] == True:
        return my_dict, True
    else:
        return None, False  # 统一返回两个值，避免解包错误