如何将Buffer转换为JSON？解决JSON.parse输入意外结束错误

从Twitter API流获取到的原始输出如下：

<Buffer 7b 22 64 61 74 61 22 3a 7b 22 65 64 69 74 5f 68 69 73 74 6f 72 79 5f 74 77 65 65 74 5f 69 64 73 22 3a 5b 22 31 35 38 38 32 31 37 34 39 32 37 34 30 30 ... 349 more bytes>

尝试用以下代码转换为JSON：

const obj = JSON.parse(data);
console.log(obj)

但出现错误：

SyntaxError: Unexpected end of JSON input
    at JSON.parse (<anonymous>)
    at Request.<anonymous> (/home/scooprank/Github/scooprank/tweet_listener/server.js:63:26)
    at Request.emit (node:events:513:28)
    at IncomingMessage.<anonymous> (/home/scooprank/Github/scooprank/node_modules/request/request.js:1073:12)
    at IncomingMessage.emit (node:events:513:28)
    at addChunk (node:internal/streams/readable:315:12)
    at readableAddChunk (node:internal/streams/readable:289:9)
    at IncomingMessage.Readable.push (node:internal/streams/readable:228:10)
    at HTTPParser.parserOnBody (node:_http_common:140:24)
    at TLSSocket.socketOnData (node:_http_client:521:22)

• 处理流数据的分段特性：Twitter API流采用分块传输，你拿到的data只是完整JSON的片段，直接解析会因数据不完整报错。需要先缓存所有接收的分块，直到确认拿到完整的JSON对象。
• 正确转换Buffer为字符串：原始输出是Node.js的Buffer对象，必须先转成UTF-8字符串再解析。可以用data.toString('utf8')转换，但要注意拼接分段的Buffer内容。
• 使用JSON流式解析库：针对流场景，推荐用JSONStream这类专门的流式解析库，它能逐步处理分块数据，无需等待完整响应：

  const JSONStream = require('JSONStream');
  const request = require('request');
  
  request('https://api.twitter.com/your-stream-endpoint')
    .pipe(JSONStream.parse())
    .on('data', (obj) => {
      console.log(obj);
    })
    .on('error', (err) => {
      console.error('解析错误:', err);
    });
  

• 手动拼接并验证完整性：如果不想依赖第三方库，可维护一个缓存变量，每次收到数据块就拼接到缓存，尝试解析，成功则清空缓存，失败则继续等待下一块：

  let buffer = '';
  
  // 流的data事件回调函数
  function handleStreamData(data) {
    buffer += data.toString('utf8');
    try {
      const obj = JSON.parse(buffer);
      console.log(obj);
      buffer = ''; // 解析成功后重置缓存
    } catch (err) {
      // 解析失败，说明数据不完整，继续等待后续分块
    }
  }
  

• 按行解析NDJSON格式：Twitter API流通常返回换行分隔的JSON（NDJSON），每个完整JSON对象占一行。可按换行分割缓存，逐行解析：

  let buffer = '';
  
  function handleStreamData(data) {
    buffer += data.toString('utf8');
    const lines = buffer.split('\n');
    buffer = lines.pop(); // 保留最后不完整的行到下一次处理
    lines.forEach(line => {
      if (line.trim()) { // 跳过空行
        try {
          const obj = JSON.parse(line);
          console.log(obj);
        } catch (err) {
          console.error('单条JSON解析失败:', err);
        }
      }
    });
  }
  

内容的提问来源于stack exchange，提问作者Nabeel Hassan