蜜度索骥:以跨模态检索技术助力“企宣”向上生长

 随着信息传播内容和渠道日渐多元化,人们获取信息的边界不断延展,搜索引擎也在由工具向服务转型,成为互联网商业生态下企业宣传、洞察风险的重要抓手。

  在这一背景下,蜜度将传统搜索引擎与多模态技术融合推出跨模态多语言智能检索平台--索骥,为企业提供精准化、场景化、多元化的信息检索服务体验,助力企业宣传向上生长。

蜜度索骥助力企业宣传

跨越模态壁垒 内容检索效率大幅提高

  “在真实的世界里,人们通过语言、文字、图片等多种模态信息进行交流。而在互联网世界,对计算机而言,不同模态的内容存在的语义障碍。通过文字只能检索出文字相关的内容,人们需要通过对非文字内容进行标注才能在互联网世界里检索到”, 上海蜜度信息技术有限公司索骥产品经理张帅说,在传播内容逐渐图片化、视频化的当下,不同模态的内容才是互联网世界的真实模样。而目前这种通过对图片和视频添加标注的方式已远远不能满足信息检索需求。

  为跨越模态之间的语义识别障碍,蜜度自主研发多模态多语言能力引擎MiduCMR,涵盖了NLP、CV单一模态以及多模态之间进行交互、融合的技术,蜜度索骥能够让文字、图片、视频等不同模态信息语义互通,从而实现以文本搜图片、以文本搜音视频、以图片搜文本、以图片搜图片、以图片搜视频、以音频搜文本、以音频搜视频等跨模态信息检索功能,更好地满足企业维护形象、品牌宣传等多方面业务需求。

  蜜度索骥通过跨模态对比学习、跨模态语义融合、跨模态语义表征、跨模态语义检索四大技术将多种模态信息进行整合及联合表征,用搜索特征向量对海量目标高维向量进行计算,提高理解能力和效率,实现语音文字文本纠错能力,提升识别准确率。

  就具体使用场景,张帅举例道,在企业口碑领域,蜜度索骥主要在品牌风险洞察和口碑评估环节为客户提供智能检索服务。在品牌风险洞察环节,品牌方仅需要几分钟就可以直接在系统中检索到品牌相关的文字、图片、视频等多种模态内容,排查品牌风险的速度得以提升。在口碑评估环节,蜜度索骥可以帮助用户了解品牌的正面评价和负面评价,为品牌提供更全面的口碑评估服务。在准确率方面,蜜度索骥为满足特定领域地高精度需求,还设计开发特殊场景识别功能。目前已完成106个政务类单位、271个特殊场景的高精度训练,有效帮助特定领域的客户快速发现相关图片、视频信息。


蜜度索骥跨模态检索

相似特征提取 图片、视频秒识别

  除了在多模态认知过程里充分融合不同模态的特征,蜜度索骥采用泛化性及效果突出的Transformer架构模型,在单模态认知中也能派上大用场。

  该模型架构能够通过自注意力机制充分学习特征,帮助用户在短时间内完成相似图片检索。例如,某家公司想知道是否存在被盗用Logo或者包装以诱导消费者购买伪劣产品的行为时,使用蜜度索骥的搜索相似图像功能将帮助企业更快、更全地搜索到与企业Logo或包装类似图像。蜜度索骥还可以帮助主管部门对申请注册的商标进行比对,辅助有关部门管理商标。

  除相似图片外,索骥在CV、OCR等前沿技术的加持下,还可对视频乃至图片,音视频中的场景、字幕、弹幕、背景、商标等元素进行识别,从而服务更为精细的应用场景。

例如,企业通过索骥完成对字幕和弹幕的提取和处理,便于更进一步了解用户的关注点以及对内容的情绪;也可以用于品牌信息追溯、洞察传播路径等等。

多语言输入 信息检索更丰富

  蜜度在语言智能的道路上一直奋力前行,试图让机器更好理解人类语言,而让机器理解人类语言这件事上就要谈及“多语言技术”的加入。为此,索骥作为蜜度在探索语言智能道路上的一款应用,在今年年初进行了一次全新升级。在面对多种语料数据稀缺的情况下,蜜度索骥依旧完成了多语言的集成训练。目前用户可以输入英语、韩语、日语、印尼语、印地语、亚美尼亚语等200多种语言完成全媒体跨模态的智能检索。

  张帅表示,从实际意义出发,多语言输入将有助于用户使用自己熟悉的语言来接触不同语种的内容。从更广泛的意义来说,实现不同语言之间的互通,在经济活动、文化交流中消除语言造成的隔阂,是人们共同努力的方向。

跨模态多语言智能检索平台蜜度索骥

蜜度索骥将继续以更为优质的技术和更为贴合场景的功能,为用户提供精准化、场景化、多元化的信息检索服务体验。


免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。