实时导入、更新物品数据--全域AI搜索-火山引擎

文档中心

立即注册

导航

实时导入、更新物品数据

最近更新时间：2025.12.17 00:04:59首次发布时间：2025.04.24 20:27:19

使用场景

在创建完成物品数据集，并导入首批物品数据后后，您可能在以下场景下可能会遇到实时写入或更新数据的需求：

物品的字段实时更新：商品的在售状态、内容的评论量点赞量等过滤字段可能需要实时同步，以保证搜索、推荐策略的时效性。
实时新增新物品：商品新上架、内容新发布等场景，需要实时同步至搜索和推荐候选库，以保证内容的时效性。

在此类场景下，您需要随时基于自己的业务内容库，同步新的数据或更新的字段到AI搜索引擎的物品数据集。数据更新时效性高，但每分钟上传的数据批量较小。这种场景下适合使用实时写入的接口。

适用数据集类型

数据集类型	是否支持批量导入
图文物品数据集	✅
视频物品数据集	✅
文档数据集	❌ 暂不支持，仅支持控制台上传

接口调用

您可以调用Dataset write接口来进行物品实时的数据导入（接口详情见：Write - 实时导入/更新数据）。您可以使用write接口实现以下操作：

实时新增物品数据：调用接口将实时新增的新数据上传至数据集。如果数据集已关联至应用生效，新增的数据将会自动导入、入库并进行数据处理和索引构建，每条数据处理可能会花费几秒至几十秒的时间，当数据的图片数量较大可能会导致处理时间的延长。视频类数据视频类数据的处理时间可能会更长（每小时可处理1-2小时视频），具体取决于视频的时长和分辨率。
实时更新物品数据：调用接口将实时更新的数据上传，当您只有更新部分字段的需求，可以仅导入物品ID对应的字段和物品下需要更新的字段和值，无需上传全部字段。当更新的字段在应用中没有用于检索，仅用于过滤时，更新效率秒级生效，如果更新了图片、视频数据，则处理时间可能会更长。

每次调用接口可上传多个Jsonl对象（Array of Object），多条数据会同时写入。

图文数据集

视频数据集

图文数据集请求示例

curl -X POST 'https://aisearch.cn-beijing.volces.com/api/v1/dataset/142460036/write'   -H 'Content-Type: application/json'   -H 'Authorization: Bearer <API Key>'   -d '{
    "fields": [
        {
            "item_id": "WSHOE001",
            "title": "舒适通勤 尖头浅口高跟鞋 - 黑色",
            "category": "女士高跟鞋",
            "status": 1,
            "images": [
                {
                    "image_url": "https://example.com/images/womens_pump_black.jpg"
                }
            ]
        },
        {
            "item_id": "WSHOE002",
            "title": "轻便网面 跑步运动鞋 - 粉色拼灰色",
            "category": "女士运动鞋",
            "status": 1,
            "images": [
                {
                    "image_url": "https://example.com/images/womens_sneaker_pink.jpg"
                }
            ]
        }
    ]
}'

视频数据集请求示例

curl -X POST 'https://aisearch.cn-beijing.volces.com/api/v1/dataset/142460036/write'   -H 'Content-Type: application/json'   -H 'Authorization: Bearer <API Key>'   -d '{
    "fields": [
        {
            "content_id": "video_900026",
            "content_type": "video",
            "parent_content_id": "collection_342534",
            "sequence_index": 26,
            "video_url": [
                "http://xxxx.mp4"
            ],
            "my_title": "三体第二十六集"
        },
        {
            "content_id": "video_900027",
            "content_type": "video",
            "parent_content_id": "collection_342534",
            "sequence_index": 27,
            "video_url": [
                "http://xxxx.mp4"
            ],
            "my_title": "三体第二十七集"
        }
    ]
}'

接口限流

为保障数据实时导入和处理的稳定性，我们对实时数据导入设置了限速逻辑。每分钟导入的数据条数限额不超过 2000 条，超过限制则会返回 429 状态码，