使用requests与scrapy.Request调用API返回结果不一致的原因

核心原因 #

Scrapy和requests对请求头的处理逻辑存在差异：

• requests会自动把字节类型的请求头值转为字符串，且单个值不会被包装成数组。
• Scrapy如果接收到字节类型的请求头值，或者不小心将值以列表/数组形式传入，会直接把它序列化成数组格式（比如Instance: [b'value']），服务器无法识别这种格式，就会出现请求头未正确传递的假象。

你在__init__方法里用requests拿到的instance_token如果是字节类型，直接放到Scrapy的请求头里就会触发这个问题。

解决步骤 #

1. 把字节类型的token转成字符串
   将从requests获取的instance_token（若为字节）解码为字符串：

   instance_token = instance_token.decode('utf-8')  # 按实际编码调整，一般是utf-8
   

2. 确保请求头值是单个字符串，别用列表包裹
   构造请求头时直接赋值字符串，不要用列表：

   headers = {
       'Instance': instance_token,  # 直接传字符串，不是[instance_token]
       # 其他请求头字段...
   }
   

3. 统一请求头构造逻辑
   可以把请求头的构造抽成单独方法，避免start_requests和parse里重复代码出错：

   def get_request_headers(self):
       return {
           'Instance': self.instance_token,
           # 其他固定请求头字段
       }
   

   之后在start_requests和parse里直接调用这个方法获取请求头即可。

验证方式 #

发送请求后，查看response.request.headers，确认Instance字段的值是字符串而非数组：

print(response.request.headers.get('Instance'))  # 正常输出应为类似 b'your_token' 或字符串，而非数组

内容的提问来源于stack exchange，提问作者Tlaloc-ES