BigQuery中FirebaseAnalytics从events_intraday_转至events_时数据丢失求助
时区切割逻辑偏差
Firebase的events_日表是严格按UTC时区划分日边界的,如果你用本地时区统计数据,跨时区的事件会被分到不同的events_表中,看起来像是数据丢失。比如你所在时区的凌晨数据,在UTC时区属于前一天,会被归到前一天的events_表,直接统计当天events_表就会漏算这部分数据。转表窗口与数据写入延迟冲突
BigQuery的转表任务是按固定窗口执行的,如果部分events_intraday_的数据因为Firebase上报延迟、网络波动等原因,在转表任务触发后才写入,这部分数据不会被同步到对应日期的events_表,而是会被归入后续的日表,或者留在events_intraday_的后续分片中。Schema不兼容或过滤规则导致丢弃
检查你的events_表是否存在自定义视图过滤,或者schema发生过变更(比如新增参数后未同步更新表结构),不符合schema的事件会在转表时被自动丢弃。可以通过对比events_intraday_和events_的schema,或者查询INFORMATION_SCHEMA.JOBS_BY_PROJECT查看转表作业的日志详情。周期性转表任务异常
每周固定2天出现丢失,大概率是对应时段的转表任务出现故障。去BigQuery的作业历史里查对应日期的转表作业状态,看是否有失败、中断记录;同时检查项目的BigQuery配额使用情况,是否因为配额耗尽导致任务终止。隐私规则或特殊事件处理
部分特殊事件(比如用户卸载事件app_remove)、符合用户隐私删除请求的数据,会在转表时被Firebase的默认规则清理,导致数据量减少。可以核对丢失时段的事件类型,确认是否是这类特殊数据被排除。
内容的提问来源于stack exchange,提问作者y m

