如何向Firestore上传超限制的含Base64图片的大文本？

首先明确：Firestore单文档的最大限制是1MB，你遇到的请求payload超限（11.5MB）本质是要上传的内容远超单文档容量，所以直接把大文本存到单个文档的textBody字段里，不管怎么分批上传单个文档都无法实现——因为最终该文档的总大小还是会突破限制。

针对你的需求，有两种可行方案：

方案一：拆分文本到子集合的多个文档 #

把完整文本拆分成多个不超过1MB的片段，将每个片段存储在目标文档的子集合中，读取时按序号拼接恢复完整内容：

上传示例代码 #

const { getFirestore } = require('firebase-admin/firestore');
const db = getFirestore();

async function uploadLargeText(postDocRef, fullText, segmentSize = 900000) {
  // 拆分文本，每个片段留足余量避免触发单文档限制
  const segments = [];
  for (let i = 0; i < fullText.length; i += segmentSize) {
    segments.push(fullText.slice(i, i + segmentSize));
  }

  // 批量上传片段
  const batch = db.batch();
  segments.forEach((segment, index) => {
    const segmentDoc = postDocRef.collection('textSegments').doc(`segment-${index}`);
    batch.set(segmentDoc, { content: segment, segmentIndex: index });
  });
  await batch.commit();

  // 在主文档记录总片段数，方便读取时校验
  await postDocRef.update({ totalSegments: segments.length });
}

读取拼接示例代码 #

async function getFullText(postDocRef) {
  const postSnapshot = await postDocRef.get();
  const { totalSegments } = postSnapshot.data();
  if (!totalSegments) return '';

  // 按序号排序读取所有片段
  const segmentsSnapshot = await postDocRef.collection('textSegments')
    .orderBy('segmentIndex')
    .get();

  let fullText = '';
  segmentsSnapshot.forEach(doc => {
    fullText += doc.data().content;
  });
  return fullText;
}

方案二：分离Base64图片到Cloud Storage #

你的文本体积过大主要是因为包含Base64编码的图片（Base64会比原图片体积大30%左右），更优的方案是将图片存储到Cloud Storage，文本中只保留图片的访问URL：

上传图片并替换文本示例代码 #

const { Storage } = require('@google-cloud/storage');
const { getFirestore } = require('firebase-admin/firestore');

const storage = new Storage();
const bucket = storage.bucket('your-bucket-name'); // 替换为你的存储桶名称
const db = getFirestore();

async function uploadBase64Image(base64Str) {
  // 解析Base64数据
  const matches = base64Str.match(/^data:([A-Za-z-+\/]+);base64,(.+)$/);
  const mimeType = matches[1];
  const imageBuffer = Buffer.from(matches[2], 'base64');

  // 生成唯一文件名
  const fileExt = mimeType.split('/')[1];
  const fileName = `post-images/${Date.now()}-${Math.random().toString(36).slice(2)}.${fileExt}`;
  const file = bucket.file(fileName);

  // 上传图片到Storage
  await file.save(imageBuffer, {
    contentType: mimeType,
    public: true // 按需设置访问权限，私有则需生成签名URL
  });

  // 返回图片访问URL
  return `https://storage.googleapis.com/${bucket.name}/${fileName}`;
}

async function savePostWithOptimizedText(postData) {
  // 匹配文本中的所有Base64图片并替换为Storage URL
  const imageRegex = /data:image\/[a-z]+;base64,[^\s]+/g;
  const textParts = postData.textBody.split(imageRegex);
  const imageMatches = postData.textBody.match(imageRegex) || [];

  // 批量处理图片上传
  const imageUrls = await Promise.all(
    imageMatches.map(base64 => uploadBase64Image(base64))
  );

  // 拼接替换后的文本
  let optimizedText = '';
  textParts.forEach((part, index) => {
    optimizedText += part;
    if (index < imageUrls.length) {
      optimizedText += imageUrls[index];
    }
  });

  // 保存到Firestore
  await db.collection('posts').doc(postData.docId).set({
    ...postData,
    textBody: optimizedText
  });
}

关键注意事项 #

• 不要尝试将拆分后的片段合并到同一个文档的textBody字段，因为单文档1MB的限制无法突破
• Cloud Storage方案不仅解决了Firestore的容量问题，还能提升图片加载效率、降低带宽消耗，是更推荐的做法

内容的提问来源于stack exchange，提问作者Bruno Varanda