咨询:是否存在可将图像识别标签组合成句子的机器学习API?
图像标签转自然句子的API及微软认知视觉能力解析
你提到的这类将图像识别标签组合成连贯句子的需求,对应的是**图像描述(Image Captioning)**技术,目前有不少工具和API能实现这个功能,同时微软认知视觉服务也具备相关能力,下面详细说明:
一、可实现标签转句子的API选项
- Google Cloud Vision API:除了基础的标签提取,它内置了图像描述功能,能直接生成贴合图像内容的自然语句,比如针对你给出的标签场景,可能输出"A crowd of people with luggage wait on a subway platform, some pulling suitcases as they prepare to board a train."
- AWS Rekognition:同样支持自动生成图像的自然语言描述,会结合识别到的主体、场景、动作等元素,输出连贯的句子。
- OpenAI GPT-4V(Vision):既可以直接上传图像生成描述,也可以把已有的标签列表作为输入,让它生成逻辑通顺、细节丰富的句子,灵活性很强。
二、微软认知视觉服务的相关能力
微软计算机视觉服务并不只局限于返回标签,它的Describe Image接口专门负责生成图像的自然语言描述。针对你提供的这段标签结果:
{ "tags": [ "train", "platform", "station", "building", "indoor", "subway", "track", "walking", "waiting", "pulling", "board", "people", "man", "luggage", "standing", "holding", "large", "woman", "yellow", "suitcase" ], "confidence": 0.833099365 }
调用该接口后,可能会返回类似这样的描述:
People are standing and waiting on an indoor subway station platform. Some individuals are holding or pulling luggage, including a woman with a yellow suitcase, as they prepare to board a train near the tracks.
如果已经有了现成的标签集合,你还可以把这些标签传入Azure OpenAI服务(比如GPT-3.5-turbo或GPT-4),让模型根据标签组合出更符合需求风格的句子,比如更口语化或更正式的表达。
内容的提问来源于stack exchange,提问作者brian.clear
相关产品推荐
相关产品推荐

