数据校验

阈值设置

数据同步完后，平台会基于默认阈值对数据进行校验，产出一份数据校验报告。
校验项分为普通校验项和重要校验项：

• 普通校验项：大部分校验项都是普通校验项，设置阈值时只需要设置“合格”和“警告”区间，出现异常时不会阻断后续流程。
• 重要校验项：设置阈值时需要设置“合格”、“警告”和“严重”区间，校验状态为“严重”时会阻断后续流程。

建议您根据业务实际情况进行调整，否则可能会出现以下问题：

• 默认阈值比实际业务数据情况严格：报告中会展示出较多异常，导致很难快速辨别真正的数据问题。
• 默认阈值比实际业务数据情况宽松：实际数据可能存在问题，但报告校验为正常，导致无法发现问题。

字段校验设置

平台支持对字段校验规则做自定义，您可以通过「数据探查」-「校验报告」找到右上角的「字段校验设置」入口进行校验规则的自定义。
支持定义的规则类型和适用场景如下：

校验报告内容

数据校验报告支持多日及单日查询，单天视图（即单日报告）是当天内的数据报告统计展示，多天视图（即整体报告）支持时间范围内的查询，可以展示多日趋势。
报告包括五个模块，各模块校验内容和常见异常原因如下：

校验报告产出的条件

• 数据量统计
  • 用户表/物品表：开始时间到当天的数据连续时，才可产出
  • 行为表同步：当天有行为数据时，即可产出
• 字段统计
  • 用户表/物品表：开始时间到当天的数据连续时，才可产出
  • 行为表同步：当天有行为数据时，即可产出
• 拼接率统计：有一段开始时间到当天的连续用户、物品数据及当天行为数据，才可产出
• 归因率统计：有一段开始时间到当天的连续行为数据，才可产出
• 业务指标统计：
  • 归因前：当天有行为数据时，即可产出
  • 归因后：有一段开始时间到当天的连续行为数据，才可产出

部分报告产出后即可进入查看，产出报告中存在阻断时，即可在同步列表中看到“严重”标记。

校验状态

校验项状态

校验报告状态

某天的校验报告状态根据该天所有校验项的状态来确定，只存在合格和严重两种状态。只要出现一个状态为“严重”的校验项，则当天报告状态为“严重”，否则为“合格”。
对于校验状态为“严重”的报告，建议的处理步骤如下：

• 第一步：确认阈值设置是否合理。首先确认阈值设置是否合理，如果阈值非常严格（如要求合格率为100%），而实际数据很难满足需求，则会出现较多“严重”项；如阈值不合理，则优先调整阈值。
• 第二步：确认数据能否修复。如数据可以修复，则建议修复完数据后进行重传。
• 第三步：确认数据问题是常态还是短期问题（如618大促期间，行为数据量波动大其实是短期特殊情况）。如明确是长期问题，则建议调整阈值。
• 第四步：确认该天存在严重问题的数据是否需要保留。如需要保留数据进入特征工程、模型训练，则可操作忽略问题，即对问题做放行处理；如不希望有问题的数据进入模型，则可在同步列表操作「跳过」该天数据。

校验状态通知（仅saas）

每个阶段数据校验遇到异常问题（不阻断下游）或严重问题（不阻断下游）时，平台均会通过站内信、短信、邮件的方式进行通知。您可在右上角的「消息接收管理」-「消息接收配置」中，找到「产品消息」-「产品状态提醒」，管理通知渠道以及接收人。



点击发送验证后，手机会收到确认短信，点进链接确认即可:

完毕后，所配置手机号就可以接收该租户下相关短信通知了，我们可以在 [订阅管理] 里面添加想要关心的消息类型。如果想感知阻断报警，则需勾选 [产品消息]。

校验报告确认

测试数据、历史数据阶段都需要完成校验报告整体确认，方可进入下一阶段，增量数据阶段无校验报告确认环节，建议您关注报告短信中提示的异常问题，并登录平台查看。当前阶段所有数据报告全部生成完成后，可通过点击页面上的“确认校验通过”，进入下一阶段。