调用Kinesis Data Stream GetRecords接口间歇性返回乱码垃圾数据问题求助

核心排查方向 #

• 数据解码逻辑不规范问题：Kinesis GetRecords 接口返回的Data字段为二进制Buffer类型，若直接隐式转成字符串，Node.js会默认使用运行环境的默认编码做转换，一旦编码参数和实际写入的UTF-8编码不匹配，就会出现二进制片段被误解析为乱码的情况。尤其在字段长度超过400字符的大字段场景下，转码截断、编码位偏移的概率会显著升高，和当前观察到的乱码分布特征一致。
• 遍历逻辑的写法缺陷：现有代码使用for (var record in result.Records)遍历返回的记录数组，这类遍历方式会读取数组对象上的所有可枚举属性，包括length、原型链挂载的非元素属性，一旦读取到非预期的二进制属性值，拼接出的内容就是无意义的乱码。
• DLQ链路的消息损坏排查：当前Lambda消费的是上游Kinesis处理Lambda的SQS死信队列，需要确认链路中是否存在消息损坏：SQS单条消息最大支持256KB大小，超过阈值的消息会被客户端截断、或经过压缩/转码处理时出现字节错位，刚好切到非UTF-8字节序列的位置时，就会出现正常文本中混杂乱码的现象。
• 上游写入侧的污染排查：需要回溯Kinesis写入端的代码，确认是否存在未做编码校验就直接将含二进制不可见字符的对象序列化写入的逻辑——全链路传输的乱码通常不是Kinesis凭空生成的，大多是写入时就已经混入了非合规字节段。

可落地的修复方案 #

• 修正Kinesis数据解码逻辑：对返回的Buffer数据显式指定UTF-8编码做转换，替换现有隐式转字符串的写法，代码调整参考：

  // 原错误写法：隐式转字符串，依赖默认编码
  // var data = result.Records[record].Data
  // 修正写法：显式指定编码
  const dataBuffer = Buffer.from(record.Data)
  const decodedData = dataBuffer.toString('utf8')
  

  转码后增加合规性校验，检测到包含U+FFFD这类UTF-8替换字符时，直接标记为坏数据，不进入正常处理流程。
• 修正数组遍历的写法：将原有的for-in遍历替换为标准的数组元素遍历，避免读取到非记录本身的属性值，比如改用result.Records.forEach((record) => { ... })的写法。
• 搭建坏数据隔离旁路：对所有读到的记录增加基础校验，包括JSON格式合法性、可打印字符占比检测，凡是出现连续3个以上非合法UTF-8可打印字符的记录，直接路由到单独的异常队列，不混入正常业务处理流。
• 增加写入/读取的校验比对：在Kinesis PutRecord 调用处埋点，记录每条写入记录的CRC校验值、字节长度，和GetRecords读到的同一条记录的校验值做比对，定位乱码是出现在写入端、Kinesis存储环节，还是DLQ传输环节。
• 修正递归拉取的逻辑缺陷：现有代码通过递归调用getKinesisRecords拉取下一批记录，没有设置退出条件，高数据量下会持续占满Node.js调用栈，导致内存溢出、缓冲区错位，建议替换为循环拉取的逻辑，避免栈溢出引发的读取异常。

内容的提问来源于stack exchange，提问作者Nephy