如何在流式传输数据后正确断开Socket连接？socket.io实践疑问

这问题我之前做流式传输时也踩过坑，核心就是流式传输是异步的，你不能在启动流之后立刻断开连接——你现在在readFileFromS3末尾直接调用dataNodeSocket.disconnect()，相当于数据还在传输的半路上就把连接掐断了，第二台服务端自然收不全数据。下面给你两个靠谱的解决方案：

方案一：监听本地流的完成事件再断开 #

不管是从S3读取的流，还是socket.io-stream创建的传输流，都有对应的结束事件，等这些事件触发后再断开连接，就能确保数据已经发完了。示例代码如下：

function readFileFromS3() {
  // 初始化socket和传输流
  const transferStream = ss.createStream();
  ss(dataNodeSocket).emit('transfer-file', transferStream);

  // 从S3获取文件流并pipe到传输流
  const s3ReadStream = s3.getObject({ 
    Bucket: '你的S3桶名', 
    Key: '目标文件路径' 
  }).createReadStream();
  
  s3ReadStream.pipe(transferStream);

  // 监听传输流的finish事件（所有数据已写入流）
  transferStream.on('finish', () => {
    console.log('数据已全部发送完成');
    dataNodeSocket.disconnect(); // 此时断开才安全
  });

  // 别忘了处理错误场景，避免连接一直挂着
  transferStream.on('error', (err) => {
    console.error('传输出错，断开连接:', err);
    dataNodeSocket.disconnect();
  });

  // 也可以监听S3读取流的end事件，确保S3那边已经读完数据
  s3ReadStream.on('end', () => {
    console.log('S3文件读取完成');
  });
}

方案二：等待接收方的确认消息再断开 #

如果想更稳妥（比如担心网络延迟导致本地流结束但接收方没收到），可以让第二台服务端在完全接收并处理完数据后，给发送方发一个确认信号，收到信号再断开：

接收方（第二台服务端）代码： #

// 监听socket连接和文件传输事件
ss.on('connection', (socket) => {
  ss(socket).on('transfer-file', (transferStream) => {
    // 将传输的数据写入本地文件
    const localWriteStream = fs.createWriteStream('接收后的文件路径');
    transferStream.pipe(localWriteStream);

    // 本地文件写入完成后，给发送方发确认
    localWriteStream.on('finish', () => {
      console.log('文件已完全接收并保存');
      socket.emit('transfer-success'); // 发送确认消息
    });
  });
});

发送方（你的readFileFromS3函数）代码： #

function readFileFromS3() {
  const transferStream = ss.createStream();
  ss(dataNodeSocket).emit('transfer-file', transferStream);

  const s3ReadStream = s3.getObject({ 
    Bucket: '你的S3桶名', 
    Key: '目标文件路径' 
  }).createReadStream();
  
  s3ReadStream.pipe(transferStream);

  // 监听接收方的确认消息
  dataNodeSocket.on('transfer-success', () => {
    console.log('接收方已确认收到全部数据');
    dataNodeSocket.disconnect(); // 收到确认后再断开
  });
}

核心总结 #

socket.io的连接断开是同步触发的，而流式传输是异步的，必须等数据传输的生命周期完全结束（要么本地流写完，要么接收方确认），再调用disconnect()，才能保证数据完整送达。

内容的提问来源于stack exchange，提问作者RRP