如何修复Firebase云函数日志表列数过多问题

问题背景 #

你的Firebase云函数日志因长期在jsonPayload.data中写入动态结构对象，导致BigQuery表的叶子字段数超过10000上限，触发错误Too many total leaf fields: 10002, max allowed field count: 10000。已修复代码停止写入动态结构，但需要处理现有问题表，核心需求是不中断日志功能的前提下，要么删除整张表，要么清理jsonPayload.data的子列。

方案一：删除整张日志表（可接受数据丢失） #

操作步骤：

• 打开BigQuery控制台，找到目标表<project_id>.<title>_cloud_function_logs.cloudfunctions_googleapis_com_cloud_functions，直接删除。
• 删除后无需手动重建表：Cloud Logging的日志导出会自动根据后续接收的日志结构生成新表，完全适配你修复后的日志格式。
• 不会破坏Firebase日志关联功能：日志关联依赖的是日志元数据（如函数ID、请求追踪ID等），和表本身无关，新表生成后关联功能正常工作。

方案二：保留数据，重构表清理冗余字段 #

如果不想丢失现有数据，可通过以下步骤重构表：

1. 创建新表：在同一数据集下创建新表，将jsonPayload.data字段定义为STRING类型（把动态结构转成JSON字符串存储，避免生成子字段），或者根据修复后的日志格式定义固定结构的STRUCT类型。
2. 修改日志导出sink：
   • 进入Cloud Logging控制台，找到Firebase自动创建的日志导出sink（目标为原BigQuery表）。
   • 删除旧sink，创建新sink，将日志导出目标指定为刚创建的新表，确保sink的过滤器和原sink一致（过滤云函数相关日志）。
3. 迁移现有数据：运行BigQuery查询，将旧表数据插入新表，处理jsonPayload.data字段：

   INSERT INTO `新表路径`
   SELECT
     timestamp,
     severity,
     insertId,
     resource,
     labels,
     TO_JSON_STRING(jsonPayload.data) AS data, -- 把动态结构转成JSON字符串
     jsonPayload.event,
     -- 保留其他需要的字段
   FROM `旧表路径`
   

4. 验证并清理：确认新表正常接收日志后，可删除旧表。

关键注意点 #

• 已修复的代码要确保不再写入动态结构的data对象，否则新表仍会出现字段超限问题。
• 修改sink配置时，短暂的日志延迟属于正常情况，不会丢失日志（Cloud Logging会缓存未导出的日志，直到sink配置生效）。

内容的提问来源于stack exchange，提问作者Christopher Gibb