去重配置

字段去重

即行为表所有字段完全一样的数据，平台会直接剔除。

窗口去重

即对于一定时间窗口（可在平台配置）内的行为数据，平台会打去重标记，训练样本和效果数据可选用去重前/后数据，AB报告使用去重后数据。

去重逻辑

去重字段：针对设置的字段完全一样的行为数据做去重。
时间窗口：去重时间窗口为动态时间窗口，如对于点击行为，去重时间窗口为30s，则：第一次点击行为时间戳为1641916801，那么在（1641916801，1641916801+30）窗口内的点击行为都算作重复，首条数据不算；下次点击行为去重窗口的开始时间为不在上次时间窗口内第一条点击行为的时间戳，以此类推。

平台上可以做哪些配置

时间窗口：平台支持去重的行为类型因行业而异，每一种行为类型支持配置时间窗口。
去重字段：user_id和bhv_type默认必选且不可取消，支持选择行为表内其他字段，可多选。
字段处理方式（高级配置）：对指定行为类型下、指定字段进行特殊处理，包括求和（该时间窗口内的所有行为数据，对该字段求和后，赋予第一条数据，不覆盖原值）和取最大值（该时间窗口内的所有行为数据，对该字段取最大值后，赋予第一条数据，不覆盖原值）。

支持对哪些行为做去重

各行业支持对行业相关的所有行为做去重，详细行为类型如下：

• 电商：曝光、点击、购买成功、收藏、加购物车、搜索、点击购物车、立即购买、分享、下单、不喜欢。
• 长视频：曝光、点击、播放、播放完成、点赞、评论、搜藏、加购物车、下单、不喜欢。
• 内容社区：曝光、点击、详情页停留、自动播放、手动播放、停止播放、收藏、分享、关注、评论、搜索、点赞、加购物车、点击购物车、立即购买、下单、购买成功、不喜欢。
• 金融：曝光、点击、详情页停留、收藏、分享、关注、评论、搜索、点赞、咨询、填写表单、上传证件、立即购买、下单、不喜欢。

在去重配置页面，单击右上角的「编辑」按钮，即可修改去重配置。

修改完去重配置后单击「确认」按钮，弹出「确认提交去重配置吗？」窗口，弹窗中可选择重跑的阶段（测试、历史、增量）和周期，选择「提交并重跑」表示提交配置并即刻重跑；选择「仅提交」表示暂不重跑仅提交配置更改。

• 去重配置修改完成后，数据将按照新的逻辑做去重，建议重新确认设置是否合理，不要频繁修改。
• 若选择重跑，则会同时重跑预处理任务、统计校验任务和效果指标任务，会带来一定credit消耗。
• 在增量阶段，如果仅天级/实时数据，均支持重跑；如果同时接入天级和实时数据，仅天级支持重跑，实时不支持重跑。