Celery任务链式调用报错：start_scrapy参数个数不符

Celery链式调用(chain)的默认行为是将前一个任务的返回值自动作为下一个任务的第一个位置参数。你第二次调用start_scrapy时，除了你手动传入的3-5个参数，还额外接收到了第一个start_scrapy的返回值，导致总参数数量变成6个，超出了函数定义的参数上限，触发TypeError。

根据你的需求，有两种常用解决方式：

1. 不需要前一个任务的返回值 #

用si()（signature immutable）替代s()来创建第二个start_scrapy的任务签名，这样链式调用不会传递前一个任务的返回值：

from celery import chain

# 链式调用示例
chain(
    start_scrapy.s(book_id=1, link="xxx", site="site_a", end_page=10),
    # 用si()避免传递前一个任务的返回值
    start_scrapy.si(book_id=2, link="yyy", site="site_b", start_page=2),
    find.s()
)()

2. 需要使用前一个任务的返回值 #

如果第二个start_scrapy需要用到第一个任务的结果，有两种处理方式：

• 修改任务函数：给start_scrapy增加一个可选的前置参数，用来接收前一个任务的返回值：

  @app.task
  def start_scrapy(prev_result=None, book_id, link, site, end_page=None, start_page=None):
      # 若需要则使用prev_result，否则忽略
      # 原有业务逻辑
  

• 用关键字参数传递：调用第二个任务时全用关键字参数，前一个任务的返回值会被自动忽略（因为没有对应的位置参数接收）：

  chain(
      start_scrapy.s(1, "xxx", "site_a", 10),
      # 全关键字参数，避免和自动传递的位置参数冲突
      start_scrapy.s(book_id=2, link="yyy", site="site_b", start_page=2),
      find.s()
  )()
  

• 不要直接在chain中调用任务（比如start_scrapy(1, "xxx", "site_a")），必须用s()或si()创建任务签名，否则会立即执行任务而非加入链式调用队列。

内容的提问来源于stack exchange，提问作者Mostafa Kooti