You need to enable JavaScript to run this app.
导航

数据入库明细(原数据质量)

最近更新时间2023.12.20 20:05:41

首次发布时间2023.02.17 11:51:27

1.概述

数据入库明细(原数据质量)用于了解项目内数据上报后入库情况的模块,能够快速查看当前项目入库/抛弃事件数量,统计命中各类错误类型的事件数量,并能够查看数据详细日志。

说明

当前云原生版本暂不支持数据入库明细功能。

2.功能说明

2.1 列表字段说明

  • 事件名称:上报事件名称
  • SDK类型:web、mp(小程序)、app,为空代表通过 http api 等非 sdk 上报数据,此时「SDK版本」也为空
  • SDK版本:SDK版本号
  • 错误类型:该事件被检测到的错误类型,包括事件错误和属性错误;校验规则请见3.数据校验规则部分
  • 接收条数:系统接收到的数据条数,此时尚未进行数据合法性校验
  • 抛弃条数:数据因为错误、数量超限等原因未进入系统条数
  • 入库条数:进入系统可以查询的数据条数
  • 异常属性条数:包含异常属性的次数,属性异常通常仅会导致相关属性被丢弃,而不会影响事件本身
    图片

2.2 查看异常数据详情

您可以点击列表左侧事件名称查看该事件的错误详情,系统会自动为您展示当前事件最新的10条错误日志,您可以按错误类型、错误码筛选,定位具体的错误类型。
注意:
1.详情仅支持查看最近7天的记录。
2.被禁用的事件/属性,以及上报类型与元数据登记不一致的事件属性,会被直接抛弃;如果您希望在数据详情查看这类数据,则需要将事件公共属性$data_validation_test 上报值设置为 true。
操作示意图:
图片

2.3 下载错误明细

点击每条事件最右侧的“下载”可以导出该事件的错误数据列表。
点击列表右上角“下载错误明细”可以导出全部错误数据列表。

3.数据校验规则

事件错误会导致整条事件被拦截,事件异常包括以下情况:

错误码

错误描述

校验规则

优化建议

1010001

事件名不合法

^[a-zA-Z0-9][a-z0-9A-Z_ .-]{1,255}$

事件名称请以字母开头,可包含字母、数字、_ . -,长度不得超过255个字符,请修改名称

1010002

事件名与系统预留事件名规则冲突

不为$和__开头的预置事件名

与系统预留事件名规则冲突,事件名称不得以$或__开头,请以字母开头,可包含字母、数字、_ . -,长度不得超过255个字符请修改名称

1010003

事件名与虚拟事件名冲突

与创建的虚拟事件同名

事件名称不得与虚拟事件同名,请修改名称

1010004

事件数量超限

单应用超过1000个事件,事件落元数据status=-2,槽位化标记关闭,事件不构建,属性不落库
私有化可配置上限,最多5000个

事件数量已达上限,无法增加新事件,请前往元事件列表页,将无用事件“禁用”

1010006

入库事件发生时间超出有效窗口期

事件发生时间不在过去7天或超出未来24小时范围内

埋点发生时间早于过去7天,事件上报延迟,建议排查客户端网络链接情况,或提高上报频次(需要修改SDK配置)

1010008

事件元数据不存在

事件元数据不存在

开启强校验后首次上报会提示元数据不存在,验收后可正常入库。

当仅检测到属性异常时,不影响该条事件入库,但异常属性会被拦截不予入库。属性异常包括以下情况:

错误码

错误描述

校验规则

优化建议

1020001

事件属性名不合法

^[a-zA-Z0-9][a-z0-9A-Z_ .-]{1,64}$

属性名称请以字母开头,可包含字母、数字、_ . -,长度不得超过64个字符,请修改名称

1020002

事件属性名与系统预留规则冲突

不为$和__开头的预置事件名
有白名单("$inactive","$inline","$target_uuid_list","$source_uuid","$is_spider","$source_id","$is_first_time")

事件属性名与系统预留规则冲突,名称不得以$和__开头,请修改名称

1020003

单事件属性个数超限

单事件建议300个属性,超过300个但不超过500个,状态设置为0,表示禁用构建,但可在页面展示;超过500个状态设置为-2,表示隐藏且不构建

单事件属性个数已达到上限300个,超出部分无法入库,请前往元数据-事件属性列表页,将无用事件属性禁用

1020004

事件属性数据类型不合法

与元数据中记录的属性数据类型不一致,且强转失败

实际上报的数据格式与元数据中记录的属性数据类型不一致,且强转失败;请按照登记类型调整上报,或修改登记的数据类型

1020005

事件属性值不合法

超过1024个字符

属性值超过1024个字符,超出部分会被截断无法入库,建议调整上报值

1020007

事件属性元数据不存在

事件属性元数据不存在

开启强校验后首次上报会提示元数据不存在,验收后可正常入库。

1030001

事件公共属性名不合法

^[a-zA-Z0-9][a-z0-9A-Z_ .-]{1,64}$

属性名称请以字母开头,可包含字母、数字、_ . -,长度不得超过64个字符,请修改名称

1030002

事件公共属性名与系统预留规则冲突

不为$和__开头的预置事件名
有白名单("$inactive","$inline","$target_uuid_list","$source_uuid","$is_spider","$source_id","$is_first_time")

事件公共属性名与系统预留规则冲突,属性名称不得以$和__开头,请修改名称

1030003

单应用事件公共属性个数超限

超过300个(私有化4.6及以下版本100个)事件公共属性,状态设置为-2不参与构建

事件公共属性个数已达到300个,超出部分无法入库,请前往元数据-事件属性列表页,将无用事件公共属性禁用

1030004

事件属性数据类型不合法

与元数据中记录的属性数据类型不一致,且强转失败

实际上报的数据格式与元数据中记录的属性数据类型不一致,且强转失败;请按照登记类型调整上报,或修改登记的数据类型

1030005

事件公共属性值不合法

超过1024个字符

属性值超过1024个字符,超出部分会被截断无法入库,建议调整上报值

1030007

事件公共属性元数据不存在

事件公共属性元数据不存在

开启强校验后首次上报会提示元数据不存在,验收后可正常入库。

1040001

用户属性名称不合法

^[a-zA-Z0-9][a-z0-9A-Z_ .-]{1,64}$

属性名称请以字母开头,可包含字母、数字、_ . -,长度不得超过64个字符,请修改名称

1040002

用户属性个数超限制

用户属性个数超500个限制

用户属性数量已达上限,无法增加新属性,请前往用户属性列表页,将无用属性“禁用”

1040003

用户属性类型不合法

与元数据中记录的属性数据类型不一致,且强转失败

实际上报的数据格式与元数据中记录的属性数据类型不一致,且强转失败;请按照登记类型调整上报,或修改登记的数据类型

1040004

用户属性值不合法

超过1024个字符

属性值超过1024个字符,超出部分会被截断无法入库,建议调整上报值

1040007

用户属性元数据不存在

用户属性元数据不存在

开启强校验后首次上报会提示元数据不存在,验收后可正常入库。

4.常见问题

4.1 抛弃条数和异常属性条数的关系是什么?

入库条数=接收条数-抛弃条数,由于属性异常只影响属性入库,并不引起整条数据被抛弃,因此异常属性条数不直接和抛弃挂钩,异常属性条数是全部接收条数中检测到属性异常的条数。

4.2 抛弃条数是否可以回补?

目前被抛弃的条数无法回补,因此建议您关注治理看板,及时处理数据异常,避免数据损失。

4.3 为什么看不到错误日志详情?

详情数据仅保留最近7天的日志数据,超过7天的数据仅支持看统计结果,不可查看日志。