最近更新时间：2024.04.30 17:56:41
首次发布时间：2023.12.25 18:39:38
本文档介绍内容洞察输出的数据字段格式信息。
内容洞察平台支持客户通过订阅任务，获取符合条件的内容数据。本文档介绍客户侧可获取到的内容数据的具体字段信息。
【标准】：内容输出的标准基础字段信息
【*非标】：内容输出的非标准字段信息，为历史遗留字段，内容洞察侧将进行重构和优化，当前不建议业务使用。如需使用，需单独进行商务沟通，依据客户商务情况单独输出。
struct PostDoc { 1: string post_id # 【标准】洞察生成的发文唯一id（全网唯一） 2: string origin_id # 【标准】抖音原始发文唯一id（抖音域内唯一，可通过内容URL获取。例如[https://www.douyin.com/video/7362580938632613159]发文的origin_id为7362580938632613159） 3: string publish_time # 【标准】发布时间。格式：%Y-%m-%d %H:%M:%S 4: string create_time # 【*非标】洞察首次入库时间, 格式：%Y-%m-%d %H:%M:%S （业务无需关注） 5: string first_public_time # 【*非标】首次公开时间文章通过审核后的首次公开时间 6: string push_ready_time # 【标准】经洞察处理后，发文数据可被消费时间 7: string consume_time # 【*非标】客户消费本条视频的时间 8: string update_time # 【*非标】本条视频的更新时间（例如作者修改、状态变更） 12: string main_domain # 【标准】发文平台的主域名，例如抖音 13: string domain # 【标准】发文平台的次域名 14: string url # 【标准】发文的网页URL。若使用沙箱环境测试，可为fake url 15: string title # 【标准】标题 16: Feature feature # 【*非标】算法信息 18: PoiInfo poi # 【标准】Poi信息。作者发文时选择的位置锚点，例如“北京市大钟寺广场1号楼” 19: OnlineStatus status = OnlineStatus.ONLINE # 【标准】视频状态：正常或下线。视频状态可能随时变更，主端已删除或法务要求过滤的数据不可输出。洞察通过此字段透传数据状态，业务侧需要对下线/过滤的数据进行对应操作，不可在业务前端应用展示 20：PostType post_type = PostType.UNKNOWN # 【标准】发文类型。图文（1）横版短视频（2）竖版小视频（10） 22: bool create_status = true # 【标准】是否是首次发布，true为是，false为变更 23：string offset # 【标准】此条发文的偏移量，用于定位当前消费数据序列位置。假如出现客户侧出现数据消费断连的情况，可根据offset定位到之前消费到了第几条数据，从该条数据继续消费 24: VideoInfo video_info # 【标准】视频信息 28: Anchor anchor # 【*非标】是否挂件 29: BasedLocation based_location # 【标准】相关位置 30: list<i32> matched_task_ids # 【标准】命中的对应task_ids 31: string update\_category # 【标准】该字段记录最近一次内容变更类型。类型包含：状态变更status\_update（占比约30%）、内容变更content\_uplate（占比约20%）、算法特征变更algorithm\_update（占比约50%）、其他变更unknown\_update。详情参见：[数据变更类型](https://www.volcengine.com/docs/83600/1254806) struct Feature { 1: string ocr # 【标准】图片识别：中文汉字、英语 2: optional string asr # 【标准】语音识别：普通话、粤语、四川话、英语 3: list<OcrDetail> ocr_details # 【标准】图片识别细节。逐帧分析内容，识别ocr出现位置、出现时间（附加增量信息，仅对约30%的头部内容做全帧OCR识别） 4: string ocr_high # 【*非标】高质量图片识别。高质量ocr会进行内容消重、标点符号标记等内容清理，相较ocr语义更连贯，但覆盖较低（附加增量信息，仅对部分内容做高质量OCR识别） 5: Sentiment sentiment # 【*非标】通过提取原素材中文字信息，判断主观情绪 6: list<KgEntityItem> kg_entity_link # 【*非标】知识图谱相关信息(文本实体） 7: list<string> tags = [] # 【*非标】行业分类，[行业分类标签](https://www.volcengine.com/docs/83600/1208813) 8: map<string, double> risk_scene # 【*非标】内容可能命中的风险场景，主要包括：内容、公司、用户、未成年等10个一级风险场景 9: i64 match_count = 1 # 【*非标】相似发文数 10: string event_name # 【*非标】事件名称 12: string match_id # 【*非标】相似发文。聚合ID。可通过筛选带有此ID的数据 查看所有相似发文。在内容维度，结合标题、OCR、ASR信息综合判断文章相似度 13: string event_id # 【*非标】所属事件。聚合ID。从内容维度将相近的同一个事件下的发文内容聚合在一起。当前仅对部分图文内容做分析，因此大部分为空，返回-1 14: bool is_sensitive # 【*非标】发文是否涉及舆情风险，是否敏感 } enum Sentiment { NETURAL = 0 # 【*非标】中立 POSTIVE = 1 # 【*非标】正向 NEGATIVE = 2 # 【*非标】负向 } enum OnlineStatus { OFFLINE = 0 # 【标准】下线 ONLINE = 1 # 【标准】正常 FILTERED = 2 # 【标准】法务过滤 } struct Anchor { 1: bool filter_status # 【*非标】是否建议过滤：若为true则表示是与舆情场景无关的挂件，客户侧可自行过滤。例如游戏、文章、影视综艺等类型的挂件 } struct Location { 1: string region # 【标准】国家地区 2: string province # 【标准】省份 3: string city # 【标准】城市 4: string district # 【标准】区县 5: string town # 【标准】乡镇 6: string region_code # 【标准】国家地区编码 7: string province_code # 【标准】省份编码 8: string city_code # 【标准】城市编码 9: string district_code # 【标准】区县编码 10: string town_code # 【标准】乡镇编码 11: i64 region_geo_id # 【标准】国家地区ID 12: i64 province_geo_id # 【标准】省份ID 13: i64 city_geo_id # 【标准】城市ID 14: i64 district_geo_id # 【标准】区县ID 15: i64 town_geo_id # 【标准】乡镇ID 16: string location # 【标准】没有格式化的位置 } struct PoiInfo { 1: string poi_name 2: string poi_city_name # 【标准】POI城市名【待下线，请使用poi_location.city】 3: Location poi_location } struct KgEntityItem{ 1: string hit_entity # 【*非标】实体标准名 2: string entity_type # 【*非标】实体类型 3: string kg_id # 【*非标】实体连接图谱id 4: list<string> hit_fileds # 【*非标】实体存在的域，title/content/ocr/asr 5: double entity_score # 【*非标】实体识别得分 6: double related_score # 【*非标】实体-kg_id匹配得分 7: list<BlockInfo> block_infos # 【*非标】实体所在的发文片段 8: i64 sentiment # 【*非标】实体情感。正负中 9: list<string> risk_scene # 【*非标】实体风险场景。根据发文中的风险内容片段和识别的实体，判断该片段中该实体涉及哪方面的问题。仅产品、公司、人物、POI店铺四类实体有此字段 10: optional double risk_binary_score # 【*非标】text的风险二分类max得分 11: list<string> hit_mentions # 【*非标】实体命中的mentions 12: optional list<string> sub_type # 【*非标】实体子类别 } enum PostType { TEXT_IMAGE = 1 # 【标准】图文 SMALL_VIDEO = 10 # 【标准】视频 } struct VideoInfo{ 1: ImageInfo cover_info # 【标准】封面信息 2: double duration # 【标准】视频时长 } struct ImageInfo { 1: string online_url # 【标准】在线tos url 2: list<CoverOcrDetail> cover_ocr_details # 【标准】封面ocr细节 3: string cover_ocr # 【标准】封面ocr } struct CoverOcrDetail { # 【标准】封面图ocr 1: string text # 【标准】ocr文字 2: i32 is_scene # 【标准】ocr出现位置是否为是否为封面图的背景 3: i32 is_high # 【标准】是否有价值 } struct OcrDetail { # 【标准】正文的ocr 1: string text # 【标准】ocr文字 2: i32 is_scene # 【标准】ocr出现位置是否为视频背景 3: i32 is_high # 【标准】是否有价值 4: i32 is_caption # 【标准】ocr出现位置是否为是否字幕 5: i32 is_title # 【标准】ocr出现位置是否为是否标题 6: list<i32> frame_id # 【标准】帧ID，帧率1秒 } struct BlockInfo { 1: string text # 【*非标】片段内容 2: list<string> hit_mentions # 【*非标】该实体在片段中的真体（比如抖音短视频，在文本中为dy） 3: double block_risk_score # 【*非标】该实体所在片段的风险分 4: i64 entity_sentiment # 【*非标】该实体在该片段中的情感 5: list<string> entity_risk_scene # 【*非标】该实体在该片段中的风险场景 } struct BasedLocation { 1: Location public_location # 【标准】发布地。即视频的IP属地，省/直辖市维度 2: list<Location> mentioned_locations # 【标准】提及地。国家-省份-城市-区县-乡镇/街道办。会包含视频中所有提及的位置 }
{ "sync_push_ready_time": "2024-02-28 19:42:32", "title": "这顿饭必须让他自己吃#人类幼崽 #养娃不易 #二胎 #只有宝妈才懂吧", "create_status": false, "domain": "www.douyin.com", "first_public_time": "2024-02-28 19:42:30", "anchor": { "filter_status":false }, "based_location": { "public_location": { "region": "中华人民共和国", "province": "浙江省", "city": "", "district": "", "town": "", "location": "中华人民共和国浙江省" }, "mentioned_locations": [{ "region": "中华人民共和国", "province": "北京市", "city": "", "district": "", "town": "", "location": "中华人民共和国北京市" }, { "region": "西班牙王国", "province": "", "city": "", "district": "", "town": "", "location": "西班牙王国" }], "poi":{ "poi_name":"高峰乡", "poi_city_name":"六安市", "poi_location":{ "region":"中华人民共和国", "province":"安徽省", "city":"六安市", "district":"", "town":"", "location":"中华人民共和国安徽省六安市" } }, "offset":"2-1687921983.6074395", "status": 1, "update_time": "2024-02-28 19:42:30", "matched_task_ids": ["test_account"], "feature": { "kg_entity_link": [ { "entity_score": 0.9987348914146424, "kg_id": "", "risk_binary_score": 0.00003057718276977539, "risk_scene": [], "block_infos": [ { "block_risk_score": 0.00003057718276977539, "entity_risk_scene": [], "entity_sentiment": 0, "hit_mentions": [ "宝妈" ], "text": "这顿饭必须让他自己吃#人类幼崽 #养娃不易 #二胎 #只有宝妈才懂吧" } ], "entity_type": "职业", "hit_entity": "宝妈", "hit_fileds": [ "1" ], "hit_mentions": [ "宝妈" ], "related_score": 0, "sentiment": 0 } ], "ocr_high": "当我开开心心做饭的时候， 幸亏我及时暂停了。 此时此刻我该怎么办? 救救我,撑不住了。", "ocr_details": [ { "text": "当我开开心心做饭的时候", "frame_id": [ 2, 3 ], "is_caption": 1, "is_high": 1, "is_scene": 0, "is_title": 1 }, { "frame_id": [ 7 ], "is_caption": 1, "is_high": 1, "is_scene": 0, "is_title": 1, "text": "幸亏我及时暂停了" }, { "frame_id": [ 8, 9 ], "is_caption": 1, "is_high": 1, "is_scene": 0, "is_title": 1, "text": "此时此刻我该怎么办?" }, { "frame_id": [ 10, 11 ], "is_caption": 1, "is_high": 1, "is_scene": 0, "is_title": 1, "text": "救救我,撑不住了" } ], "risk_score": 0, "event_id": "-1", "label_tags": [ { "level1": "亲子", "level2": "亲子互动日常" } ], "match_count": 1, "match_id": "", "risk_scene": {}, "sentiment": 2, "tags": [ "owls_parenting" ], "asr": "当我开开心心做饭的时候幸亏我及时暂停了此时此刻我该怎么办救救我撑不住了哎小姨子", "event_name": "", "is_sensitive": false, "ocr": "|当我开开心心做饭的时候|此时此刻我该怎么办?|救救我,撑不住了" }, "main_domain": "douyin.com", "post_type": 10, "publish_time": "2024-02-28 19:42:00", "create_time": "2024-02-28 19:42:30", "origin_id": "7340616706936655104", "push_ready_time": "2024-02-28 19:42:41", "post_id": "15381186716566210343", "url": "https://www.douyin.com/share/video/7340616706936655104", "video_info": { "cover_info": { "height": 0, "md5": "", "neardup_id": "", "cover_ocr": "", "cover_ocr_details": [], "filesize": "", "fingerprint": "", "hash_id": "", "offline_url": "", "online_url": "https://p6-dy-ipv6.byteimg.com/obj/tos-cn-p-0015/oMpxALbnNQK79LlAqHjk23IxfBAAxDpneDxxQg", "mimetype": "", "original_url": "", "width": 0 }, "cover_uri": "tos-cn-p-0015/oMpxALbnNQK79LlAqHjk23IxfBAAxDpneDxxQg", "duration": 16.462 } }
洞察支持区分同步&异步数据流，同步数据流可单独推送基础信息字段，不依赖算法解析，保障数据推送时效。客户可选择是否使用同步数据流（若需要请提前联系洞察侧同学开通接口权限）
struct PostDoc { 1: string post_id, # 【标准】洞察生成的发文唯一id（全网唯一） 2: string origin_id # 【标准】抖音原始发文唯一id（抖音域内唯一） 3: string publish_time # 【标准】发布时间。格式：%Y-%m-%d %H:%M:%S 4: string create_time # 【*非标】洞察首次入库时间, 格式：%Y-%m-%d %H:%M:%S （业务无需关注） 5: string first_public_time # 【*非标】首次公开时间文章通过审核后的首次公开时间 6: string sync_push_ready_time # 【标准】同步火山可推送时间 7: string consume_time # 【*非标】客户消费本条视频的时间 8: string update_time # 【*非标】本条视频的更新时间（例如作者修改、状态变更） 12: string main_domain # 【标准】发文平台的主域名，例如抖音 13: string domain # 【标准】发文平台的次域名 14: required string url # 【标准】发文的网页URL。若使用沙箱环境测试，可为fake url 15: string title # 【标准】标题 16: SyncFeature feature # 【*非标】算法信息 18: PoiInfo poi # 【标准】Poi信息。作者发文时选择的位置锚点，例如“北京市大钟寺广场1号楼” 19: OnlineStatus status = OnlineStatus.ONLINE # 【标准】视频状态：正常或下线。视频状态可能随时变更，主端已删除或法务要求过滤的数据不可输出。洞察通过此字段透传数据状态，业务侧需要对下线/过滤的数据进行对应操作，不可在业务前端应用展示 20: PostType post_type = PostType.UNKNOWN # 【标准】发文类型。图文（1）横版短视频（2）竖版小视频（10） 22: bool create_status = true # 【标准】是否是首次发布，true为是，false为变更 23: string offset # 【标准】此条发文的偏移量，用于定位当前消费数据序列位置。假如出现客户侧出现数据消费断连的情况，可根据offset定位到之前消费到了第几条数据，从该条数据继续消费 24: VideoInfo video_info # 【标准】视频信息，同步不包含封面OCR内容，即cover\_ocr\_details和cover\_ocr两个字段为空，这两个属于异步字段 29: BasedLocation based_location # 【标准】相关位置, 同步只包含public_location不包含mentioned_locations 30: list<i32> matched_task_ids # 【标准】命中的对应task_ids } struct SyncFeature { 1: string ocr # 【标准】图片识别：中文汉字、英语 2: optional string asr # 【标准】语音识别：普通话、粤语、四川话、英语 }
说明
Offset: a-167xxxx格式 a是现在所在的分片数，167xxx是消费到的时间位置。客户可以根据这个参数指定消费的分片，和时间范围。