如何在ScrapingHub中正确为Scrapy爬虫传递参数？

你遇到的这个问题其实是Scrapinghub Job运行机制导致的——当你通过spider.jobs.run()传递参数时，这些参数会被转换成Scrapy爬虫的命令行启动参数。而命令行参数的规则是：如果同一个参数名被多次传递，后面的值会直接覆盖前面的。

比如你传data=["1","2","3"]，底层其实是给爬虫传递了-a data=1 -a data=2 -a data=3，最后自然只会保留最后一个值3。

解决方案：序列化参数传递 #

最靠谱的解决办法是把列表、DataFrame这类复杂数据序列化成字符串（比如JSON），传递后再在爬虫内部反序列化回来，这样就能完整保留所有数据。

1. 传递列表参数的示例

客户端代码：

import json
from scrapinghub import ScrapinghubClient

apikey = "你的API密钥"
client = ScrapinghubClient(apikey)
project = client.get_project("你的项目ID")
spider = project.spiders.get("你的爬虫名称")

# 要传递的列表数据
data = ["1", "2", "3"]
# 序列化成JSON字符串
job = spider.jobs.run(data=json.dumps(data))

Scrapy爬虫内部解析：

import json
import scrapy

class YourSpider(scrapy.Spider):
    name = "你的爬虫名称"

    def __init__(self, **kwargs):
        super().__init__(**kwargs)
        # 解析传递的JSON字符串
        if 'data' in kwargs:
            self.data_list = json.loads(kwargs['data'])
            print("完整的列表数据：", self.data_list)  # 输出 ["1", "2", "3"]

2. 传递DataFrame/CSV的示例

如果要传递DataFrame，同样可以先转成JSON字符串（或者CSV字符串）：

客户端代码：

import pandas as pd
import json
from scrapinghub import ScrapinghubClient

apikey = "你的API密钥"
client = ScrapinghubClient(apikey)
project = client.get_project("你的项目ID")
spider = project.spiders.get("你的爬虫名称")

# 构造示例DataFrame
df = pd.DataFrame({
    'id': ["1", "2", "3"],
    'name': ["Alice", "Bob", "Charlie"]
})
# 转成JSON字符串（用orient='records'让每行是一个字典）
job = spider.jobs.run(df_data=df.to_json(orient='records'))

Scrapy爬虫内部解析：

import pandas as pd
import json
import scrapy

class YourSpider(scrapy.Spider):
    name = "你的爬虫名称"

    def __init__(self, **kwargs):
        super().__init__(**kwargs)
        if 'df_data' in kwargs:
            # 反序列化成DataFrame
            self.df = pd.DataFrame(json.loads(kwargs['df_data']))
            print("完整的DataFrame：\n", self.df)

注意事项 #

如果你的DataFrame/CSV数据量很大，不建议直接通过参数传递（因为Scrapinghub对参数长度有限制），更好的方式是：

• 把数据上传到云存储（比如AWS S3、Google Cloud Storage）
• 给爬虫传递数据文件的访问URL
• 爬虫内部通过URL下载并读取数据

内容的提问来源于stack exchange，提问作者Emilz