使用Promise.allSettled并发调用Twitter搜索接口出现JSON解析错误如何解决

报错原因 #

1. 接口返回体差异：search/tweets接口单次返回100条推文数据，单请求响应体积远大于users/show单用户信息接口。你使用的旧版Node.js Twitter包底层对大响应的接收处理逻辑存在缺陷，并发请求时多份大响应同时传输容易出现响应截断，导致收到的JSON内容不完整，触发解析错误，而HTTP请求本身是成功的，因此状态码返回200。
2. 速率限制与软拦截差异：users/show接口的调用速率上限远高于search/tweets接口，200次并发请求没有触及限流阈值。而search/tweets接口并发过高时，会触发Twitter的流量管控，部分请求会返回非JSON格式的拦截提示页，部分场景下状态码仍会标记为200，直接解析就会报错。
3. 特殊字符编码问题：部分关键词如果包含未转义的特殊符号，会导致请求参数异常，Twitter返回非预期的非JSON响应，同样会触发该类错误。

解决方案 #

1. 限制并发请求数：不要直接将200个请求全部交给Promise.allSettled()处理，使用并发池控制同时发起的请求数量，建议控制在10~20并发，既不会大幅降低性能，也能避免响应截断和流量管控问题。参考实现逻辑：

// 并发控制示例，limit为最大并发数
const limit = 15
const tasks = keywords.map(keyword => () => twitterClient.get('search/tweets', {
  q: '$' + encodeURIComponent(keyword),
  result_type: 'recent',
  count: '100'
}))
const results = []
for (let i = 0; i < tasks.length; i += limit) {
  const batch = tasks.slice(i, i + limit).map(fn => fn())
  results.push(...await Promise.allSettled(batch))
  // 每批请求结束后加100ms间隔，进一步降低限流风险
  await new Promise(resolve => setTimeout(resolve, 100))
}

2. 替换维护状态良好的依赖包：你当前使用的twitter包已停止维护多年，底层响应处理存在大量已知问题，可替换为仍在持续更新的twitter-api-v2等同类包，对大响应、异常响应的兼容处理更完善。
3. 增加异常重试机制：对JSON解析失败的请求添加指数退避重试逻辑，最多重试2~3次，覆盖瞬时网络波动、临时拦截等异常场景。
4. 完善参数编码：对关键词参数调用encodeURIComponent()做转义处理，避免特殊字符导致的请求参数异常。

内容的提问来源于stack exchange，提问作者Kr1