Express+Node.js结合needle调用Twitter流API时每分钟1-3次JSON解析报错问题
项目基础说明
- 开发技术栈:基于Express与Node.js搭建服务,使用needle npm包对接Twitter Streaming API,实现匹配关键词的推文拉取
- 当前运行状态:整体流式通信链路正常,可通过以下简化代码成功获取绝大多数推文
const needle = require('needle'); const TOKEN = // 个人访问Token const streamURL = 'https://api.twitter.com/2/tweets/search/stream'; function streamTweets() { const stream = needle.get(streamURL, { headers: { Authorization: `Bearer ${TOKEN}` } }); stream.on('data', (data) => { try { const json = JSON.parse(data); // 报错触发位置 const text = json.data.text; } catch (error) { console.log("error"); } }); }
固定报错现象
- 触发规律:无论调整何种搜索关键词、无论流入的推文规模多大,catch块每分钟固定触发1-3次错误
- 具体报错栈:
SyntaxError: Unexpected end of JSON input at JSON.parse (<anonymous>) at PassThrough.<anonymous> (C:\Users\danie\OneDrive\Documents\Personal-Projects\twitter-program\server.js:56:31) at PassThrough.emit (events.js:315:20) at addChunk (internal/streams/readable.js:309:12) at readableAddChunk (internal/streams/readable.js:284:9) at PassThrough.Readable.push (internal/streams/readable.js:223:10) at PassThrough.Transform.push (internal/streams/transform.js:166:32) at PassThrough.afterTransform (internal/streams/transform.js:101:10) at PassThrough._transform (internal/streams/passthrough.js:46:3) at PassThrough.Transform._read (internal/streams/transform.js:205:10)
已尝试方案与当前排查方向
- 已验证的常规解法:参考通用优化建议,针对流式返回数据可能被拆分为多个分片推送的问题,实现了分片缓存逻辑:
let chunks = []; stream.on('data', (dataChunk) => { chunks.push(dataChunk); }).on('end',() => { // 拼接所有分片生成完整JSON对象后再做解析 })
- 方案验证结果:修改后问题未得到解决,已自行排查确认实现逻辑无偏差
- 当前怀疑方向:报错并非由本地分片拼接问题导致,大概率来自Twitter API的特殊返回内容,毕竟绝大多数推文对象都能被正常解析
- 待排查的关联疑点:
streamTweets函数当前是在异步流程中调用的,尚不确定该调用方式是否与报错存在关联 - 当前诉求:请教有同类开发经验的开发者是否遇到过相同问题,或是有可行的排查解决思路,最终目标是实现100%的推文可以被无错误流式解析
内容的提问来源于stack exchange,提问作者Daniel Hill
相关产品推荐
相关产品推荐

