ID-Mapping运维与管理
最近更新时间：2024.03.06 15:13:28
首次发布时间：2024.03.06 15:13:28
系统提供ID-Mapping运维与管理相关功能，主要包括：任务信息、血缘视图、数据探查分析，以及高级配置（如授权ID Mapping配置权限、管理ID Mapping在线服务配置等等。
仅集团管理员（即admin账号）可以配置ID图谱。
3.1 ID-Mapping任务信息
点击 数据融合-ID图谱构建 ，进入 任务信息 页面。在该页面将展示所有ID-Mapping任务详情，用户可以查看对应任务的库表名、身份标识ID、创建时间、运行状态等。
表头显示当前环境下的任务总览，包括总任务数、成功/失败数等。
支持按「主体OneID任务」或「多主体关系任务」进行筛选。
支持按任务类型、主体、多主体关系和运行状态进行筛选。
任务类型包括：
OneID生成任务：一个主体一个任务，控制整体OneID的生成逻辑，是最核心且最先运行的任务，落地Hive表
ID数据同步任务：依赖OneID生成任务，将每个ID映射的BaseID(OneID)数据Hive表同步至Clickhouse，是下游标签等应用直接依赖的任务
多主体关系生成：依赖OneID生成任务，将主体间的转换关系数据构建BaseID(OneID)到BaseID(OneID)的映射关系，落地Hive表
多主体关系数据同步：依赖多主体关系生成任务，将主体间构建的BaseID映射关系Hive表数据同步Clickhouse，是下游主体转关关系应用直接依赖的任务
支持查看单个任务的运行视图和运行记录，并且支持单独重新运行此任务。
「运行视图」页面，将显示该任务上游依赖的DAG以及各依赖任务的运行状态。
「重新运行」将会重启该任务。
「运行记录」页面，将显示该任务最近30天的任务执行情况。
点击右上角 运行 按钮，可以手动运行所有ID-Mapping任务（可能导致OneID改变）。
3.2 IDM高级配置
3.2.1 授权IDM配置权限
点击右上角 高级配置-授权IDM配置权限 按钮，将跳转到项目中心，支持配置ID Mapping管理员，被授权者将有权限编辑ID图谱。
3.2.2 管理IDMapping在线服务配置
点击右上角 高级配置-管理IDMapping在线服务配置 按钮，将跳转到项目中心，支持对ID Mapping的主体及转换关系构建在线服务，用于高QPS低延迟的接口快速查询。
3.2.3 管理主体及可见范围
点击右上角 高级配置-管理主体及可见范围 按钮，将跳转到项目中心，支持对 主体和ID 进行 反向禁用（默认全部可用，勾选特定对象后可批量禁用）。
注意
该配置为集团层面配置，禁用后将对该用户访问各项目时生效。
- 配置主体资源权限。勾选资源后，点击「批量禁用」，弹窗中选择禁用的对象。（仅支持按用户筛选）
- 配置ID类型资源权限。勾选资源后，点击「批量禁用」，弹窗中选择禁用的对象。（支持按用户、用户组、角色筛选）
3.2.4 设置底表生命周期
IDMapping任务底层涉及数据生产、数据同步过程，用户可以设置底表存储的生命周期天数，以节省存储资源。
说明
天数：最小14天，最多365天，仅支持整数输入
如有OneID变更后回刷需求，可根据回刷需求设置合理周期
3.2.5 管理离线全量ID统计逻辑
IDMapping均是基于全量ID进行图谱生成的，全量ID数据的来源多条路径，支持定义全量ID的数据统计逻辑。开启后，OneID将整合所有离线ID和历史实时ID，适用于离线数仓数据不完整，需要多渠道数据来构建完整全量ID的场景。
*注意事项： 此功能默认关闭，如需启用，请在部署时告知并开启对应功能开关。
3.2.6 管理ID全量数据融合周期
为了确保在OneID生成过程中，相同ID保持一致的OneID，支持设定历史OneID的参考周期，以便新数据能与历史数据无缝对接。默认融合周期设置为7天，也可以根据需要自定义调整。
*注意事项： 此功能默认关闭，如需启用，请在部署时告知并开启对应功能开关。
3.3 数据探查
支持查询ID到OneID的映射关系，以及OneID变更记录。
3.3.1 OneID映射
说明
作用： 查看每个具体的ID值对应的OneID及不同查询环境下是否存在不同的OneID。
建议： 如存在多个ID值在不同环境下存在不同OneID，则不符合OneID生成预期，请检查离线或实时任务是否正常更新，如存在部分ID值存在多个不同OneID结果，则可能由于数据更新导入时效问题导致，建议稍等后再次查询。
3.3.2 OneID重组变化
说明
作用： 查看OneID的变化过程，可用于排查因为IDM配置变化或参考关系变化带来的OneID重组。
建议： 如存在ID对应的OneID频繁变动，可以检查ID相关的参考关系配置或关系数据，避免参考关系频繁变动。
3.4 血缘管理
3.4.1 血缘视图
在血缘视图中，支持查看标签、分群、数据集、资产输出、IDM在线导入、多主体转换关系的上下游血缘情况，方便运维排查，提高异常任务处理效率。
3.4.2 查看ID血缘及下游
ID图谱构建中，支持右键单击ID去查看ID详情及下游，支持查看下游依赖的血缘视图。
3.5 删除ID
在ID配置页面，支持删除ID。
注意
集团及项目管理员、ID Mapping管理员有权限删除ID
系统联动的ID不可删除，例如Finder产品联动的ID
删除ID后，该ID绑定的OneID数据将在下次任务更新时被清空，一旦删除无法撤回
删除ID时，支持查看该ID的血缘信息，ID删除后下游任务可能会执行异常
删除ID后，OneID、多主体关系及在线服务影响如下：
OneID配置：该ID与其他ID的参考关系会跟随删除，OneID生成逻辑改变；
多主体关系：依赖该ID的多主体转换关系会跟随删除。
OneID在线服务：若该ID已开启在线服务，调用该ID的接口服务将执行失败，血缘中不会展示开放服务的接口，请内部确认该ID是否被调用。
3.6 OneID数据修正
*注意事项： 此功能默认关闭，如需启用，请在部署时告知并开启对应功能开关。
基于完整的ID血缘体系，ID图谱构建模块提供数据自动修正的能力，可以将历史的OneID修正为最新的OneID。
3.6.1 数据修正范围
可视化建模任务：包含IDM算子且开启回刷开关的任务、注册为数据档案且包含IDM算子的任务
数据档案：行为/明细数据档案
标签：不支持回刷修正，如涉及周粒度/月粒度大周期任务建议更改为日粒度
分群：不支持回刷修正，如涉及周粒度/月粒度大周期任务建议更改为日粒度
DataFinder行为数据：包含Finder行为数据和属性数据
- 注意：DataFinder独立部署时，不支持OneID数据修正
3.6.2 应用场景
场景1： 存在用户，第一天匿名登陆，第二天改为实名登陆，此时需要串联用户的行为链路
ID-Mapping配置：手机号/设备号，手机号优先级 > 设备号，设备号参考手机号
第一天的情况：匿名登陆，只有设备号１信息，此时对应 设备号1 = OneID1
第二天的情况：实名登陆，此时有了手机号１ +设备号１信息，设备号参考手机号，此时手机号1＝设备号1 = OneID2
问题：第一天的行为是围绕 OneID1 记录的，第二天的行为是围绕 OneID2 记录的，导致用户两天的行为无法串联分析转化行为路径
场景2：ID-Mapping配置改变，基于场景1，此时要以设备号为业务更高优先级的ID，变更IDM配置
ID-Mapping配置变更前：手机号/设备号，手机号优先级 > 设备号，设备号参考手机号
ID-Mapping配置变更后：手机号/设备号，手机号优先级 < 设备号，手机号参考设备号
变更前：手机号 = 设备号 = OneID1，基于手机号生成的OneID1
变更后：手机号 = 设备号 = OneID2，基于设备号生成的OneID2
问题：同上，涉及行为数据/业务明细数据等历史数据无法和最新数据串联
基于上述场景的解决方案如下： 基于完整的ID血缘体系，IDM提供数据自动修正的产品功能，可以将历史的OneID修正为最新的OneID。 方案逻辑： 每天定时唤起任务进行数据更新回刷。
说明
1、功能限制：
资源风险：每天定时唤起任务会导致任务量增加，由此可能带来资源消耗增加
修正周期风险：支持最多3天的数据修正，更长周期修正会增加资源消耗和任务稳定性风险，需咨询运维变更
2、数据修正范围：
可视化建模任务：包含IDM算子且开启回刷开关的任务、注册为数据档案且包含IDM算子的任务
数据档案：行为/明细数据档案
标签：不支持回刷修正，如涉及周粒度/月粒度大周期任务建议更改为日粒度
分群：不支持回刷修正，如涉及周粒度/月粒度大周期任务建议更改为日粒度
DataFinder行为数据：包含DataFinder行为数据和属性数据
- 注意： DataFinder独立部署时，不支持OneID数据修正
3.6.3 操作步骤
| 步骤 | 功能入口 | 操作说明 | 操作截图 |
|---|---|---|---|
1-必选 | ID图谱构建 - OneID配置 | 点击主体名称更多按钮，点击【设置OneID修正范围】唤起配置入口进入弹窗配置回刷的周期，最多支持3天回刷超出3天会有额外的人力和资源成本评估，需要单独评估 |
|
| 2-可选 | 可视化建模（离线）-IDMapping算子 | 1. 使用IDMapping算子构建离线任务时，可以配置是否需要回刷，由此决定任务要不要定时回刷以修正OneID数据 |  |
