You need to enable JavaScript to run this app.
导航
内容质检
最近更新时间:2023.10.31 17:03:20首次发布时间:2022.07.07 16:30:16

本文档介绍说明内容管理平台内容质检相关模块。

概述

内容质检模块背靠有着多年内容安全经验的字节研发团队,将AI模型拦截、敏感词识别、人工质检、数据看板有机融合,覆盖图片、文本、长视频、短视频等多垂类内容体裁,通过便捷的人机交互,为用户提供智能、高效、一站式的内容质检服务,助力企业降本增效,为业务的健康可持续发展保驾护航。

内容质检

质检队列

操作界面

  • 点击【质检工作台】进入【质检工作台】;

  • 按轮次选择【质检】或【抽检】开始质检,或点击【浏览】按钮预览任务,该页面上一切操作不生效;

  • 将鼠标悬浮在队列卡片空白处,将出现【统计更新】和【置顶】两个按钮。

质检轮数

每个质检队列可以最多配三轮质检,以三轮质检配置为例:

  • Admin权限显示为质检;

  • 第一轮质检员判定通过后,内容会送入第二轮,判定不通过则直接驳回通知创作者内容直接不通过;

  • 第二轮质检员判定通过后,内容会送入第三轮,判定不通过则直接驳回通知创作者内容直接不通过;

  • 第三轮质检员判定通过后,内容会发布上线,判定不通过则直接驳回通知创作者内容直接不通过。

说明
质检队列的轮次配置可以在「质检配置」-「策略配置」中进行指定后绑定至队列上。

每轮质检都需要一个质检账号,可 配置相关的子账号,并添加相应的质检权限。 权限添加请联系火山人员。

  • 内容通过了所有审核轮次发布上线后,队列配置策略配置了抽检的情况下,抽检员可以在队列中对上线内容进行抽查,如果判定内容违规可以直接操作内容下线。

新建队列

  • 点击【新建队列按钮】弹出【新建队列对话框】;

  • 选择内容体裁,可以选图文、短视频(竖版)、长视频(横版)、短内容;

  • 如果选择“按照内容来源送入”,则该内容来源下的所有同体裁内容都会被送入该队列。

  • 如果选择“按照命中模型送入”,则命中该模型的所有同体裁内容都会被送入该队列;

  • 点击修改模型的优先级,可以修改命中模型的顺序;举例:一条内容分别命中了“恶心”和“涉黄”两个模型,但由于“涉黄”的优先级高于“恶心”,该条内容会优先送入“涉黄”队列

质检界面

  • 点击【质检】按钮领取初检任务,选择处理结果后提交进入下一任务;

  • 抽帧图片分为高危抽帧和普通抽帧。高危抽帧是视频中命中模型的部分,普通抽帧是从视频中随机抽取的;

  • 点击抽帧图片,视频可定位到图片相应位置,Windows 电脑使用 control键 + 鼠标左键点击,mac 电脑使用command 键 + 鼠标左键点击。

机审结果为异常的将在界面中进行提示:

  • 图文类型的将在左侧下方展示机器质检的结果。包括命中的模型以及阈值;

  • 视频类型的高危抽帧中。鼠标移动至图片上悬浮展示命中的模型以及阈值。

如在质检页面停留30分钟未提交(右上角⏲),则该质检任务被释放,需要刷新页面重新领取。

抽检:点击【抽检】按钮领取抽检任务,抽检员需判断初检结果是否合格,不合格内容可不通过处理。

质检工作台

  • 依次点击【质检工作台】—【质检任务】;

  • 筛选质检任务并查看详情,支持多维度搜索任务,可按时间倒序、正序排列搜索结果;

  • 支持通过【列表字段设置】进行表格数据显示字段与顺序配置,可隐藏不关注的相关字段

  • 导出数据 点击【导出数据】按钮,导出全部搜索结果;点击【我的导出】按钮,查看导出任务并下载;

  • 支持有权限进行质检的用户在列表中快速进入单任务质检,快速检索并处理任务;

  • 修改质检结果:点击【对象ID】跳转至队列【浏览模式】,拥有修正权限的质检员可点击【修正模式】按钮,修改结果。

质检配置

模型配置

  • 内置多个内容模型,精准识别涉政、涉黄、涉恐等高危内容,可进行模型类别与名称、状态的筛选搜索;

  • 点击【模型配置】即可看到全部模型列表;

  • 点击模型右侧的【停用】按钮,平台将会自动弹窗提示停用风险,如确认停用,请点击【停用】,否则点击【取消】;

  • 确认停用后,模型状态变更为“已停用”;再次开启请点击右侧【启用】按钮。

  • 阈值是一个风险数值,用于衡量内容的风险评分。若某内容评分大于等于阈值,则该内容命中模型;

  • 所有模型都会在前置沟通后配置推荐阈值;

  • 如需调整,请在【详情】-【修改】,修改后阈值自动保存并生效。

敏感词配置

支持敏感词及词表的管理,配合敏感词模型使用。若内容含敏感词,则会命中敏感词模型,并在质检操作页面高亮展示敏感词,高效辅助质检员完成质检判断。

  • 平台支持批量停用、删除、导出敏感词。

支持【新建词表】。

可选择【文件上传】或【手动输入】两种方式;选择【非正则类型】,点击【下载模板】,将敏感词及备注填入到模板并回传至平台即可。

添加敏感词后,可导出scv敏感词文件。

敏感词创建成功后,默认启用,可【停用】或点击【...】按钮删除敏感词,点击【设置】可修改备注;可通过搜索框快速找到某个敏感词。

策略配置

支持多样化质检模式,确保质检策略契合业务场景。
租户内置预设策略,新建的质检队列会默认按质检方式指定预设策略。如需进行参考模型以及轮次规则的修改,可以新建策略并配置到队列上。具体操作如下:

  1. 进入策略配置,点击新建质检策略

  1. 策略支持不同队列类型(按来源、按模型命中、按内容集合送入)

  • 按来源送入下,在队列为人工+机器的模式下,可配置需检测的模型与模型结果对应的进审策略+质检规则

  • 按命中模型送入策略下,可选择该模型命中后的进审动作+质检规则

  • 按内容集合送入模式下,可配置质检规则

  1. 质检规则配置

如选择【只开启质检环节】,可进行轮次配置与流入下一轮的条件:

如选择【开启质检和抽检环节】,需继续设置抽检方式:

  • 选择【按比例复检】,则需在下方输入框输入对应百分比,也可通过输入框右侧的上下箭头进行调整;保存后,将会随机抽取对应百分比的内容量进行复检;

  • 选择【按命中模型或者创作者复检】,则需分别点击筛选框右侧的下拉箭头,选择相应的模型和创作者,并保存,支持多选。

作者黑白名单

黑白名单配置是对特定创作者上传内容的质检规则。如果某创作者在白名单中,则该创作者上传的所有内容直接判定为通过质检;如某创作者在黑名单中,则该创作者上传的所有内容直接判定为质检不通过。黑白名单互斥,一个创作者只能在一个名单中。

以白名单为例:

点击用户名前的勾选框,可批量【移除】创作者或【导出】白名单列表。

导出黑白名单列表为CSV文件

质检数据

质检数据面板:数据及时更新,自动生成可视化图表,是管理者做出正确业务决策的依据来源。

总质检和人工质检数据

包括每日的进检量,质检通过量,质检通过率数据,可进行数据筛选和数据导出。

质检操作数据

对初检质检员的质检结果的评估,包括整体和个人的平均正确率、平均通过率、平均质检时长、平均积压时长数据。

数据指标说明

维度指标名称计算口径
质检总数据总质检量机审通过的量 + 人审通过的量 +人审不通过的量
总通过量机审通过的量+人审通过的量
通过率总通过量/总质检量 * 100%
人工质检总数据总质检量人审通过的量+人审不通过的量
总通过量人审通过的量
通过率总通过量/总质检量 * 100%

平均质检时长

单条内容的质检时长=初检轮质检结束时间 - 任务进入待质检池时间
平均质检时间 = (筛选时间内) 所有完成质检内容的质检时长总和 / 所有完成质检内容的总数

平均积压时长

单个内容积压时长=单个内容总处理时长(进队列 到 质检结束) - 质检时长(由于复检是随机抽查的,不是按照任务分配 的,所以内容积压只存在于初检)
平均积压时长 = (筛选时间内) 所有完成质检内容的积压时长总和 / 所有完成质检内容的总数

质检操作数据平均正确率(筛选时间内) 该审核员审核内容正确数量 / 该审核员所有质检内容数量
平均误判率(筛选时间内) 该审核员审核内容误判数量 / 该审核员所有质检内容数量
平均质检时长(筛选时间内) 该审核员审核内容总质检时长 / 该审核员所有质检内容数量
平均积压时长(筛选时间内) 该审核员审核内容总积压时长 / 该审核员所有质检内容数量

质检回查中心

新建回查任务

先根据需要回查的风险体裁创建任务。

文本回查

视频回查

图片回查

人脸回查

  • 回查任务创建成功后提示,用户可以继续创建任务,或者去任务详情页查看任务执行情况;

  • 如果任务新建失败会进行提示,可以在查询列表查看失败任务。

回查任务列表

任务列表

  • 回查任务列表,可以看到所有回查任务记录;

  • 点击“导出全部”按钮,可以将过往全部回查操作历史记录以Excel的形式导出到本地;

  • 任务状态包括:查询中,查询失败,查询完成;

  • 匹配类型包括:标题,正文,摘要,图片,图片文本,视频,人脸图片,人脸视频;

  • 样本体裁包括:文本,图片,视频,人脸图片,人脸视频。

任务详情

基本信息:

  • 召回量:根据风险样本找到的包含风险样本的内容数量;

  • 处理量:处理的风险内容数量;

  • 由于同一条召回内容可以被多次处理,所以处理量可能会大于召回量。

执行详情:

  • 相似度:仅当样本为视频、图片、人脸图片发起回查时,在召回详情页中才会展示相似度字段,用于表示样本和命中的风险内容之间的相似程度;

  • 点击“导出全部”按钮,可以将过往全部处理操作历史记录以Excel的形式导出到本地;

  • 直接点击处理全部,或者多选任务后点击处理全部,会弹出对话框,选择上架或者下架;

  • 处理状态:处理中,处理失败,处理成功;

  • 点击内容ID旁的箭头:可以看到该条内容的历史处理记录。

处理:点击处理会选择将内容召回全部上架或下架。