基于Firebase的带哈希校验的唯一文件上传实现咨询

Firebase Storage本身不支持直接按元数据字段（如文件哈希值）进行全局查询，要实现你的需求，需要借助Firestore建立文件哈希值的索引集合，通过Firestore的文档查询来快速判断文件是否已存在。具体实现步骤如下：

1. 提前准备Firestore索引集合 #

创建一个名为fileHashes的Firestore集合，将每个文件的哈希值作为文档ID，文档内存储对应的Storage文件路径、下载链接等关键信息。这样可以通过哈希值直接定位到对应的文件记录，查询效率极高。

2. 上传前计算文件哈希值 #

使用Web Crypto API计算本地文件的哈希值（推荐SHA-256，碰撞概率极低），示例代码：

async function calculateFileHash(file) {
  const arrayBuffer = await file.arrayBuffer();
  const hashBuffer = await crypto.subtle.digest('SHA-256', arrayBuffer);
  const hashArray = Array.from(new Uint8Array(hashBuffer));
  return hashArray.map(b => b.toString(16).padStart(2, '0')).join('');
}

3. 查询哈希值是否已存在 #

计算出哈希值后，先查询Firestore的fileHashes集合：

import { getFirestore, doc, getDoc } from "firebase/firestore";

const db = getFirestore();

async function checkFileExists(hash) {
  const docRef = doc(db, 'fileHashes', hash);
  const docSnap = await getDoc(docRef);
  if (docSnap.exists()) {
    // 文件已存在，返回存储的下载链接
    return docSnap.data().downloadUrl;
  }
  // 文件不存在，返回null
  return null;
}

4. 处理上传逻辑 #

根据查询结果分支处理：

import { getStorage, ref, uploadBytes, getDownloadURL } from "firebase/storage";
import { setDoc } from "firebase/firestore";

const storage = getStorage();

async function handleFileUpload(file) {
  const hash = await calculateFileHash(file);
  const existingUrl = await checkFileExists(hash);

  if (existingUrl) {
    // 直接返回已有文件的链接
    return existingUrl;
  }

  // 文件不存在，执行上传
  const storageRef = ref(storage, `uploads/${hash}_${file.name}`); // 用哈希值命名避免路径冲突
  await uploadBytes(storageRef, file);
  const downloadUrl = await getDownloadURL(storageRef);

  // 将哈希值和文件信息存入Firestore
  await setDoc(doc(db, 'fileHashes', hash), {
    downloadUrl,
    storagePath: storageRef.fullPath,
    fileName: file.name,
    uploadTime: new Date()
  });

  return downloadUrl;
}

补充说明 #

• 为什么不用Storage的元数据查询？因为Firebase Storage的查询能力仅支持按路径前缀检索，无法基于自定义元数据（如哈希值）进行全局范围的查询，必须依赖Firestore的文档索引实现快速查找。
• 哈希值作为文档ID的好处：避免重复创建相同哈希的文档，Firestore会自动处理ID冲突，保证每个哈希值对应唯一一条记录。

内容的提问来源于stack exchange，提问作者Idris