若您希望将平台上的图文内容(如商品信息、新闻资讯、设计素材等)整合进搜索与推荐系统,并实现基于内容的问答与信息提取,图文数据集是理想的解决方案。图文数据集支持您上传包含图片和相关文本描述的数据。系统将自动调用多模态预处理和理解能力,深度解析图像视觉信息与文本语义内容,并将这些图文内容索引。 图文搜索适用于以下数据内容:
以及其他包含图片和文本信息的结构化数据。
图文数据集支持自由的schema定义,即我们不限制数据字段名称,您可以自定义JSON结构(字段名、字段类型)来上传任意的图文信息来描述被搜索的数据内容。您可以使用控制台创建AI搜索应用时创建数据集,上传一条或多条JSON数据来进行schema解析,控制台的大模型数据解析功能可为您解析字段结构和字段名称、特殊属性和数据集内容摘要。字段名称:必须以字母开头,且只能包含字母、数字和下划线,字段名不超过32个字符。字段类型:支持JSON schema的以下核心数据类型
以下是一条图文数据示例:
{ "product_id": "P10092385", "title": "轻薄笔记本电脑", "images": { "primary": "https://example.com/images/laptop_main.jpg", "gallery": [ "https://example.com/images/laptop_angle1.jpg", "https://example.com/images/laptop_angle2.jpg" ] }, "price": { "current": 4999, "original": 5899, "discount_percentage": 15 }, "specs": { "processor": "Intel i7", "memory": "16GB", "storage": "512GB SSD" } }
支持在图文数据集中使用String或Array类型的属性字段来传入图片数据。每条数据支持使用多个字段来区分不同的图片类型,用来区分图片字段的用途。
例子:在电商平台场景下,一条商品数据可能包含多类图片,如商品列表页面的展示头图、商品顶部轮播图和商品详情页图。其中商品列表页面的展示头图通常用于搜索结果和分类页展示,可能包含商品的完整外观,商品顶部轮播图用于商品详情页顶部展示多角度商品图,而商品详情页图则包含商品细节、尺寸说明的文字长图信息。前两者更适合用于商品图搜的特征,而详情页图片更适合使用大模型解读后参与导购问答。
传入包含一张图片的字段: 使用String类型的字段传入包含一张图片的字段,适用于商用图片素材搜索场景传入素材缩略图,或在商品数据中传入商品列表页展示头图。传入包含多张图片的字段: 使用Array类型的字段传入可包含多张图片的字段,适用于商品数据中传入商品详情图(包含商品图文描述信息)和商品顶部轮播图(包含商品的完整外观展示)。
使用URL下载链接导入图片 您可以在字段中传入图片分发下载链接(String)来导入图片,您需要保障图片的下载链接是公开可访问的。导入数据后AI 搜索引擎会将图片进行下载拉取,并用于后续的图片理解和多模态数据索引。使用Base64导入图片(不推荐) 如果您的数据库中存储了图片原始文件但没有设置图片分发服务,则可以在字段中直接传入Base64编码的图片文件。 请确保您的图片Base64编码符合标准格式,包含数据头(Data URI Scheme)与 Base64 编码正文两部分,以保障base64编码可被正确解析:
组成部分
格式要求
说明
数据头前缀
固定为 data:
data:
标识该字符串为 Data URI 格式,不可省略或修改
MIME 类型
需与图片实际格式严格匹配
用于服务端识别图片类型,禁止随意填写(如 JPG 图填 PNG 的 MIME)
分隔符
固定为 ;base64,
;base64,
连接 MIME 类型与 Base64 编码正文,分号、“base64”、逗号均不可省略或替换
Base64 编码正文
符合 RFC 4648 标准的 Base64 编码字符串
由图片文件二进制数据直接编码生成,禁止包含空格、换行符、特殊字符,需为连续的 ASCII 字符串
data:<MIME类型>;base64,<Base64编码字符串>
data:image/jpeg;base64,<Base64编码字符串>
data:image/png;base64,<Base64编码字符串>
data:image/webp;base64,<Base64编码正文>
注意
使用Base64上传图片会使数据导入接口的请求和返回体较大,影响数据上传和查询的时效性。建议使用图片URL来上传图片数据。
在导入数据前请确保图片的格式满足要求:
字段的“属性”为一系列预留的字段配置,在创建数据集时会引导您进行配置,配置为特定属性的字段将会进行特殊的处理并在搜索、推荐、对话时应用于内容理解和排序策略。在准备数据时,您可以预先判断您的数据库中是否包含以下信息,我们建议您将这些属性以既定格式传入,来最大化地利用AI 搜索引擎的智能数据处理和在线策略。
属性
是否为必需属性
支持的字段类型
属性介绍
物品ID(唯一标识)
必需
String
一条数据的唯一标识,即数据的主键,在搜索和推荐场景下换一个ID代表一个“候选”,数据schema中必须包含且仅包含一个唯一标识。
标题
非必需
存储了物品标题或名称的字段。适用于:商品名称、内容或文章标题等信息。 建议上传标题数据,标题数据会作为一条数据的核心语义信息参与搜索和个性化推荐
图片链接
String, Array
存储了图片URL的字段,上传数据后系统将自动拉取图片并提取视觉特征进行多模态理解,如果您希望使用URL上传图片进行多模态搜索,则需要将存储了图片URL的字段标注为图片URL属性。 支持字符串或字符串列表字段。
图片Base64
存储了图片base64字符串(列表)的字段。
分类/类目
存储了物品所属的类别、类目、品类的字段。 商品数据中建议上传这类属性,类目信息会作为核心的数据特征参与搜索和推荐,并在对话助手的决策流程中基于用户的问题对品类进行智能的过滤。 支持上传多个分类属性,如果您的商品有多重类目(一级、二级类目),可以使用不同的字段来上传。
上新时间(时间日期格式)
使用日期和时间格式的字符串存储的物品上新/上架时间,可用于搜索和推荐的新度排序。 支持上传的格式包含:
上新时间(UNIX时间戳,精确到秒)
Int64
使用标准10位UNIX时间戳表示的物品上新/上架时间,可用于搜索和推荐的新度排序策略。
上新时间(UNIX时间戳,精确到毫秒)
使用标准13位UNIX时间戳表示的物品上新/上架时间,可用于搜索和推荐的新度排序策略。
地理位置-经度
Float 或 String
使用字符串或浮点数表示的经度纬度信息,用来标识物品的所处位置,支持对以下类型的字段进行配置:
可支持传入浮点数,或使用字符串表示经度或纬度的数值,例如"30.281"或30.281。
地理位置-纬度
示例字段
字段类型
字段属性
字段含义
product_id
唯一标识
商品的唯一ID
title
商品标题
images
Object
商品包含的图片信息
图片URL
商品主形象图
Array
商品详情轮播图,包含商品的主要信息图片
price
商品的价格信息
Float
商品当前展示价格
商品历史价格
商品折扣(百分比)
specs
商品参数
processor
处理器
memory
内存
storage
电脑存储空间和介质