数据治理看板

数据治理看板可以自动检测当前项目的埋点数据质量和埋点使用情况，辅助数据管理人员判断埋点数据是否健康，从而采取进一步的治理动作，包括修复埋点异常、清理无用埋点等。

2.1 入库校验监控

增长分析产品在收到SDK上报的数据后，会对数据内容进行校验，通过校验的数据才会构建到数据表，错误数据则会被拦截丢弃，具体的处理方式是：

• 如果检测到该条数据的事件名称（event）异常，那么这条数据会被丢弃，不予入库。
• 如果事件名称通过检测，而其中的部分属性（params）检测到异常，那么异常的属性会被丢弃，这条事件和其余正常属性仍然可入库。

2.1.1 事件拦截率

事件拦截率指标用于监测当前项目中有多少比例的事件数据由于格式异常或上报延迟导致被拦截无法入库，拦截率越高表明事件错误越高，数据损失越大。
事件拦截率=事件错误拦截条数/接收总条数
拦截条数仅计算启用、启用不显示状态的元数据，禁用、待验收、黑名单状态的事件属于预期内正常拦截的事件，不在统计范围内。

2.1.2 数据错误及校验规则

数据错误率=被检测到事件异常的条数/服务端接收的总条数

• 事件错误会导致整条事件被拦截，事件异常包括以下情况：

  错误码	错误描述	校验规则	优化建议
  1010001	事件名不合法	^[a-zA-Z0-9][a-z0-9A-Z_ .-]{1,255}$	事件名称请以字母开头，可包含字母、数字、_ . -，长度不得超过255个字符，请修改名称。
  1010002	事件名与系统预留事件名规则冲突	不为$和__开头的预置事件名。	与系统预留事件名规则冲突，事件名称不得以$或__开头，请以字母开头，可包含字母、数字、_ . -，长度不得超过255个字符请修改名称。
  1010003	事件名与虚拟事件名冲突	与创建的虚拟事件同名。	事件名称不得与虚拟事件同名，请修改名称。
  1010004	事件数量超限	单应用超过1000个事件，事件落元数据status=-2，槽位化标记关闭，事件不构建，属性不落库。 私有化可配置上限，最多5000个。	事件数量已达上限，无法增加新事件，请前往元事件列表页，将无用事件“禁用”。
  1010005	事件构建禁用	在元数据管理中禁用了该事件。	检查元数据中该事件的“禁用”状态设置。
  1010006	入库事件发生时间超出有效窗口期	事件发生时间不在过去7天及未来小时范围内。	埋点发生时间早于过去7天，事件上报延迟，建议排查客户端网络链接情况，或提高上报频次（需要修改SDK配置）。
  1010008	事件元数据不存在	事件元数据不存在。	开启强校验后首次上报会提示元数据不存在，验收后可正常入库。

• 当仅检测到属性异常时，不影响该条事件入库，但异常属性会被拦截不予入库。属性异常包括以下情况：

  错误码	错误描述	校验规则	优化建议
  1020001	事件属性名不合法	^[a-zA-Z0-9][a-z0-9A-Z_ .-]{1,64}$	属性名称请以字母开头，可包含字母、数字、_ . -，长度不得超过64个字符，请修改名称。
  1020002	事件属性名与系统预留规则冲突	不为$和__开头的预置事件名。 有白名单("$inactive","$inline","$target_uuid_list","$source_uuid","$is_spider","$source_id","$is_first_time")。	事件属性名与系统预留规则冲突，名称不得以$和__开头，请修改名称。
  1020003	单事件属性个数超限	单事件建议300个属性，超过300个但不超过500个，状态设置为0，表示禁用构建，但可在页面展示；超过500个状态设置为-2，表示隐藏且不构建。	单事件属性个数已达到上限300个，超出部分无法入库，请前往元数据-事件属性列表页，将无用事件属性禁用。
  1020004	事件属性数据类型不合法	与元数据中记录的属性数据类型不一致，且强转失败。	实际上报的数据格式与元数据中记录的属性数据类型不一致，且强转失败；请按照登记类型调整上报，或修改登记的数据类型。
  1020005	事件属性值不合法	超过1024个字符。	属性值超过1024个字符，超出部分会被截断无法入库，建议调整上报值。
  1020007	事件属性元数据不存在	事件属性元数据不存在。	开启强校验后首次上报会提示元数据不存在，验收后可正常入库。
  1020008	事件属性禁用	事件属性被禁用。	检查事件属性的“禁用”设置。
  1030001	事件公共属性名不合法	^[a-zA-Z0-9][a-z0-9A-Z_ .-]{1,64}$	属性名称请以字母开头，可包含字母、数字、_ . -，长度不得超过64个字符，请修改名称。
  1030002	事件公共属性名与系统预留规则冲突	不为$和__开头的预置事件名。 有白名单("$inactive","$inline","$target_uuid_list","$source_uuid","$is_spider","$source_id","$is_first_time")。	事件公共属性名与系统预留规则冲突，属性名称不得以$和__开头，请修改名称。
  1030003	单应用事件公共属性个数超限	超过100个事件公共属性，状态设置为-2不参与构建。	事件公共属性个数已达到100个，超出部分无法入库，请前往元数据-事件属性列表页，将无用事件公共属性禁用。
  1030004	事件公共属性数据类型不合法	与元数据中记录的属性数据类型不一致，且强转失败。	实际上报的数据格式与元数据中记录的属性数据类型不一致，且强转失败；请按照登记类型调整上报，或修改登记的数据类型。
  1030005	事件公共属性值不合法	超过1024个字符。	属性值超过1024个字符，超出部分会被截断无法入库，建议调整上报值。
  1030007	事件公共属性元数据不存在	事件公共属性元数据不存在。	开启强校验后首次上报会提示元数据不存在，验收后可正常入库。
  1030008	事件公共属性禁用	事件公共属性被禁用。	检查事件公共属性的“禁用”设置。
  1040001	用户属性名称不合法	^[a-zA-Z0-9][a-z0-9A-Z_ .-]{1,64}$	属性名称请以字母开头，可包含字母、数字、_ . -，长度不得超过64个字符，请修改名称。
  1040002	用户属性个数超限制	用户属性个数超300个限制。	用户属性数量已达上限，无法增加新属性，请前往用户属性列表页，将无用属性“禁用”。
  1040003	用户属性类型不合法	与元数据中记录的属性数据类型不一致，且强转失败。	实际上报的数据格式与元数据中记录的属性数据类型不一致，且强转失败；请按照登记类型调整上报，或修改登记的数据类型。
  1040004	用户属性值不合法	超过1024个字符。	属性值超过1024个字符，超出部分会被截断无法入库，建议调整上报值。
  1040007	用户属性元数据不存在	用户属性元数据不存在。	开启强校验后首次上报会提示元数据不存在，验收后可正常入库。

您可以点击蓝色数字查看明细上报日志，进一步排查问题。

2.1.3 上报延迟

增长分析对于超过7天仍未上报的数据采取丢弃不予入库处理，例如某次用户行为发生在1月1日，那么只有该行为在1月8日前完成上报才能被入库，1月8日后即使上报也无法入库。
延迟率=入库事件发生时间超出有效窗口期的事件条数（错误类型1010006）/服务端接收的总条数
如果您检测到项目的上报延迟率较高，建议您关注SDK的类型和版本，并调整上报时机，例如缩短上报时间间隔。同时也建议您进一步关注用户设备的联网情况。
您可以点击蓝色数字查看明细上报日志，进一步排查问题。

2.2 元数据使用情况

在开展埋点治理工作前，首先需要了解当前埋点的建设和使用情况。

2.2.1 埋点管理模式

使用过程中时常会遇到未知数据、名称错误的事件或属性以及数据类型错误的属性进入到系统中，直到使用这些数据进行分析时才被发现。这时往往错误数据已经影响了数据分析，问题原因又很难定位，造成时间的大量浪费。开启数据验收后，数据在进入系统前就需要人工审核，在确认名称、属性类型无误后放行，可以让进入系统的数据有正确的规则，从而减少数据使用时由异常数据引发的异常。
增长分析为您提供埋点入库校验模式管理模式，您可以根据实际埋点管理要求选择是否开启，默认为关闭状态。

• 开启埋点入库校验模式：首次出现在元数据中的事件及属性需要在数据管理中手动验收后才会入库，未提前登记或验收的数据不予接收入库。开启后生效时间约10分钟。
• 关闭埋点入库校验模式：关闭后，事件和属性会自动入库，不需要提前登记或人工验收，只有当事件/属性被标记为“禁用”状态才会阻止入库。

您可以点击“去修改”或打开“项目中心 > 项目管理 > 通用设置”页面配置开关。

元数据状态流转图如下：

• 待验收：开启“数据入库校验”后，系统中未知的元事件及属性会进入待验收列表，只有人工验收后，相关数据才会允许进入系统。验收时确定的名称及属性数据类型会作为对应元数据的校验规则。未开启“数据入库校验”时，系统中未知的元事件及属性则会直接被加入元数据。
• 黑名单：黑名单中的元事件或属性永远不会进入系统，但从黑名单中删除后，则会作为新的未知事件出现在待验收列表中。

不同状态的元数据可用性对照表：

2.2.2 元数据使用情况

您可以在数据管理 > 数据治理 > 数据治理看板 > 元数据使用情况模块查看当前项目元数据的创建数量和使用统计，指标包括：最近30天查询次数、最近30天查询人数、关联图表数（仅支持事件，不支持属性）、昨日入库数（仅支持事件，不支持属性）。
为方便项目成员使用，减少不必要的冗余信息和数据，建议数据管理员及时停用项目中的无效事件/属性，例如无人查询或是长期无数据上报的事件/属性。
您也可以点击事件名称/属性名称查看详情，操作示意图：

2.3 导出全量埋点方案

您可以点击页面右上角的“导出埋点方案”按钮，获取当前项目完整埋点方案文档（excel格式），内容包括自定义事件/属性、预置事件/属性、用户属性。
操作示意图：

3.1 哪些人需要关注数据治理看板？

我们建议“数据管理员”或“埋点负责人”定期查看数据治理看板，这能够帮助您及时发现埋点数据中存在的异常情况，尽早修正数据避免损失。

3.2 哪些项目需要开启埋点入库校验？

开启入库校验能够保障所有埋点均经过人工审核，这能够在查询埋点时提供最大程度的便利和数据准确。因此如果您的项目具备“埋点负责人”的角色，建议您开启入库校验开关。
如果当前您的团队还无法指派“埋点负责人”的角色，为了避免长期无人验收/登记埋点信息导致数据拦截丢失，建议您关闭入库校验开关。

3.3 开启埋点入库强校验一段时间又关闭了，期间未验收的数据会自动验收么？

不会。进入待验收列表的元事件或属性在用户手动验收前始终会保留在待验收列表中，并且相关数据也不会进入系统。

3.4 元事件数量超限了怎么办？

目前可以联系客服或客户成功删除一部分不再使用的元数据，减少元数据数量，同时建议调整埋点方案中元事件的命名方式，通常元数据名称中经常变化的部分是可以作为该事件的属性上报的。

3.5 开启了数据校验，为什么部分数据查不到了？

开启埋点入库校验后，只有验收通过之后的数据上报才会入库，未验收的数据不入库。