JavaScript计算Git文件Blob SHA时 emoji 匹配问题求助

问题根源 #

GitHub计算文件Blob SHA的规则是固定的：必须基于blob <文件字节长度>\0<文件内容字节流>这个组合的字节数组做SHA-1哈希，最终转成十六进制字符串。之前的不匹配问题，大多是因为没有严格按照UTF-8编码处理特殊字符（比如emoji），或者遗漏了GitHub要求的Blob前缀格式。

正确的本地计算步骤 #

1. 确保文件内容以UTF-8编码读取为字节缓冲区（Buffer），避免字符串转码时的编码错误。
2. 构造GitHub要求的Blob头部：blob ${buffer.length}\0，将其转为Buffer后与文件内容的Buffer拼接。
3. 对拼接后的Buffer计算SHA-1哈希，再转为十六进制字符串，结果就会和GitHub API返回的SHA完全一致。

具体JavaScript实现（Node.js环境） #

const fs = require('fs');
const crypto = require('crypto');

async function calculateGitHubBlobSHA(filePath) {
  // 1. 读取文件为Buffer（自动处理UTF-8编码，包括emoji等多字节字符）
  const fileBuffer = await fs.promises.readFile(filePath);
  
  // 2. 构造GitHub Blob的头部并拼接内容
  const header = Buffer.from(`blob ${fileBuffer.length}\0`, 'utf-8');
  const blobBuffer = Buffer.concat([header, fileBuffer]);
  
  // 3. 计算SHA-1哈希并转十六进制
  return crypto.createHash('sha1').update(blobBuffer).digest('hex');
}

// 测试用例：计算含emoji的文件SHA
calculateGitHubBlobSHA('./test-emoji.txt').then(sha => {
  console.log('本地计算的SHA:', sha);
  // 对比GitHub API返回的SHA，应该完全一致
});

验证说明 #

• 对于包含emoji、中文等特殊字符的文件，只要保证读取时用UTF-8编码（Node.js的readFile默认就是UTF-8，直接读Buffer不会有编码问题），按照上述步骤计算的SHA就能和GitHub返回的匹配。
• 不要直接对字符串做哈希，因为字符串在不同环境下的编码可能不一致（比如浏览器中的UTF-16），必须基于UTF-8编码的字节流处理。

内容的提问来源于stack exchange，提问作者Vince