内容质检

本文档介绍说明内容管理平台内容质检相关模块。

内容质检模块背靠有着多年内容安全经验的字节研发团队，将AI模型拦截、敏感词识别、人工质检、数据看板有机融合，覆盖图片、文本、长视频、短视频等多垂类内容体裁，通过便捷的人机交互，为用户提供智能、高效、一站式的内容质检服务，助力企业降本增效，为业务的健康可持续发展保驾护航。

质检队列

操作界面

• 点击【质检工作台】进入【质检工作台】；

• 按轮次选择【质检】或【抽检】开始质检，或点击【浏览】按钮预览任务，该页面上一切操作不生效；

• 将鼠标悬浮在队列卡片空白处，将出现【统计更新】和【置顶】两个按钮。

质检轮数

每个质检队列可以最多配三轮质检,以三轮质检配置为例：

• Admin权限显示为质检；

• 第一轮质检员判定通过后，内容会送入第二轮，判定不通过则直接驳回通知创作者内容直接不通过;

• 第二轮质检员判定通过后，内容会送入第三轮，判定不通过则直接驳回通知创作者内容直接不通过;

• 第三轮质检员判定通过后，内容会发布上线，判定不通过则直接驳回通知创作者内容直接不通过。

说明
质检队列的轮次配置可以在「质检配置」-「策略配置」中进行指定后绑定至队列上。

每轮质检都需要一个质检账号，可 配置相关的子账号，并添加相应的质检权限。 权限添加请联系火山人员。

• 内容通过了所有审核轮次发布上线后，队列配置策略配置了抽检的情况下，抽检员可以在队列中对上线内容进行抽查，如果判定内容违规可以直接操作内容下线。

新建队列

• 点击【新建队列按钮】弹出【新建队列对话框】；

• 选择内容体裁，可以选图文、短视频（竖版）、长视频（横版）、短内容；

• 如果选择“按照内容来源送入”，则该内容来源下的所有同体裁内容都会被送入该队列。

• 如果选择“按照命中模型送入”，则命中该模型的所有同体裁内容都会被送入该队列；

• 点击修改模型的优先级，可以修改命中模型的顺序；举例：一条内容分别命中了“恶心”和“涉黄”两个模型，但由于“涉黄”的优先级高于“恶心”，该条内容会优先送入“涉黄”队列

质检界面

• 点击【质检】按钮领取初检任务，选择处理结果后提交进入下一任务；

• 抽帧图片分为高危抽帧和普通抽帧。高危抽帧是视频中命中模型的部分，普通抽帧是从视频中随机抽取的；

• 点击抽帧图片，视频可定位到图片相应位置，Windows 电脑使用 control键 + 鼠标左键点击，mac 电脑使用command 键 + 鼠标左键点击。

机审结果为异常的将在界面中进行提示：

• 图文类型的将在左侧下方展示机器质检的结果。包括命中的模型以及阈值；

• 视频类型的高危抽帧中。鼠标移动至图片上悬浮展示命中的模型以及阈值。

如在质检页面停留30分钟未提交（右上角⏲），则该质检任务被释放，需要刷新页面重新领取。

抽检：点击【抽检】按钮领取抽检任务，抽检员需判断初检结果是否合格，不合格内容可不通过处理。

质检工作台

• 依次点击【质检工作台】—【质检任务】；

• 筛选质检任务并查看详情，支持多维度搜索任务，可按时间倒序、正序排列搜索结果；

• 支持通过【列表字段设置】进行表格数据显示字段与顺序配置，可隐藏不关注的相关字段

• 导出数据 点击【导出数据】按钮，导出全部搜索结果；点击【我的导出】按钮，查看导出任务并下载；

• 支持有权限进行质检的用户在列表中快速进入单任务质检，快速检索并处理任务；

• 修改质检结果：点击【对象ID】跳转至队列【浏览模式】，拥有修正权限的质检员可点击【修正模式】按钮，修改结果。

质检配置

模型配置

• 内置多个内容模型，精准识别涉政、涉黄、涉恐等高危内容，可进行模型类别与名称、状态的筛选搜索;

• 点击【模型配置】即可看到全部模型列表；

• 点击模型右侧的【停用】按钮，平台将会自动弹窗提示停用风险，如确认停用，请点击【停用】，否则点击【取消】；

• 确认停用后，模型状态变更为“已停用”；再次开启请点击右侧【启用】按钮。

• 阈值是一个风险数值，用于衡量内容的风险评分。若某内容评分大于等于阈值，则该内容命中模型;

• 所有模型都会在前置沟通后配置推荐阈值；

• 如需调整，请在【详情】-【修改】，修改后阈值自动保存并生效。

敏感词配置

支持敏感词及词表的管理，配合敏感词模型使用。若内容含敏感词，则会命中敏感词模型，并在质检操作页面高亮展示敏感词，高效辅助质检员完成质检判断。

• 平台支持批量停用、删除、导出敏感词。

支持【新建词表】。

可选择【文件上传】或【手动输入】两种方式;选择【非正则类型】，点击【下载模板】，将敏感词及备注填入到模板并回传至平台即可。

添加敏感词后，可导出scv敏感词文件。

敏感词创建成功后，默认启用，可【停用】或点击【...】按钮删除敏感词，点击【设置】可修改备注；可通过搜索框快速找到某个敏感词。

策略配置

支持多样化质检模式，确保质检策略契合业务场景。
租户内置预设策略，新建的质检队列会默认按质检方式指定预设策略。如需进行参考模型以及轮次规则的修改，可以新建策略并配置到队列上。具体操作如下：

1. 进入策略配置，点击新建质检策略

2. 策略支持不同队列类型（按来源、按模型命中、按内容集合送入）

• 按来源送入下，在队列为人工+机器的模式下，可配置需检测的模型与模型结果对应的进审策略+质检规则

• 按命中模型送入策略下，可选择该模型命中后的进审动作+质检规则

• 按内容集合送入模式下，可配置质检规则

3. 质检规则配置

如选择【只开启质检环节】，可进行轮次配置与流入下一轮的条件：

如选择【开启质检和抽检环节】，需继续设置抽检方式：

• 选择【按比例复检】，则需在下方输入框输入对应百分比，也可通过输入框右侧的上下箭头进行调整；保存后，将会随机抽取对应百分比的内容量进行复检；

• 选择【按命中模型或者创作者复检】，则需分别点击筛选框右侧的下拉箭头，选择相应的模型和创作者，并保存，支持多选。

作者黑白名单

黑白名单配置是对特定创作者上传内容的质检规则。如果某创作者在白名单中，则该创作者上传的所有内容直接判定为通过质检；如某创作者在黑名单中，则该创作者上传的所有内容直接判定为质检不通过。黑白名单互斥，一个创作者只能在一个名单中。

以白名单为例：

点击用户名前的勾选框，可批量【移除】创作者或【导出】白名单列表。

导出黑白名单列表为CSV文件

质检数据

质检数据面板：数据及时更新，自动生成可视化图表，是管理者做出正确业务决策的依据来源。

总质检和人工质检数据

包括每日的进检量，质检通过量，质检通过率数据，可进行数据筛选和数据导出。

质检操作数据

对初检质检员的质检结果的评估，包括整体和个人的平均正确率、平均通过率、平均质检时长、平均积压时长数据。

数据指标说明

质检回查中心

新建回查任务

先根据需要回查的风险体裁创建任务。

文本回查

视频回查

图片回查

人脸回查

• 回查任务创建成功后提示，用户可以继续创建任务，或者去任务详情页查看任务执行情况；

• 如果任务新建失败会进行提示，可以在查询列表查看失败任务。

回查任务列表

任务列表

• 回查任务列表，可以看到所有回查任务记录；

• 点击“导出全部”按钮，可以将过往全部回查操作历史记录以Excel的形式导出到本地；

• 任务状态包括：查询中，查询失败，查询完成；

• 匹配类型包括：标题，正文，摘要，图片，图片文本，视频，人脸图片，人脸视频；

• 样本体裁包括：文本，图片，视频，人脸图片，人脸视频。

任务详情

基本信息：

• 召回量：根据风险样本找到的包含风险样本的内容数量；

• 处理量：处理的风险内容数量；

• 由于同一条召回内容可以被多次处理，所以处理量可能会大于召回量。

执行详情：

• 相似度：仅当样本为视频、图片、人脸图片发起回查时，在召回详情页中才会展示相似度字段，用于表示样本和命中的风险内容之间的相似程度；

• 点击“导出全部”按钮，可以将过往全部处理操作历史记录以Excel的形式导出到本地；

• 直接点击处理全部，或者多选任务后点击处理全部，会弹出对话框，选择上架或者下架；

• 处理状态：处理中，处理失败，处理成功；

• 点击内容ID旁的箭头：可以看到该条内容的历史处理记录。

处理：点击处理会选择将内容召回全部上架或下架。