太阳成tyc7111cc·(中国)集团官方网站-Macau Bellwether
搜索 猫眼电影 融媒体矩阵
  • 山东手机报

  • 猫眼电影

  • 大众网官方微信

  • 大众网官方微博

  • 抖音

  • 人民号

  • 全国党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

多模态检索大升级!智源三大SOTA模型,代码、图文理解能力拉满

2025-06-01 10:28:51
来源:

猫眼电影

作者:

杜十娘

手机查看

  猫眼电影记者 任嘉政 报道w3u7903ejky2ywls

新智元报道

编辑:Aeneas 犀牛

【新智元导读】就在刚刚,智源研究员联合多所高校开放三款向量模型,以大优势登顶多项测试基准。其中,BGE-Code-v1直接击穿代码检索天花板,百万行级代码库再也不用怕了!

检索增强技术在代码及多模态场景中的发挥着重要作用,而向量模型是检索增强体系中的重要组成部分。

针对这一需求,近日,智源研究院联合多所高校研发了三款向量模型,包括代码向量模型BGE-Code-v1,多模态向量模型BGE-VL-v1.5以及视觉化文档向量模型BGE-VL-Screenshot。

这些模型取得了代码及多模态检索的最佳效果,并以较大优势登顶CoIR、Code-RAG、MMEB、MVRB等领域内主要测试基准。

BGE自2023年8月发布以来,已成为中国首个登顶Hugging Face榜首的国产AI模型以及2023年所有发布模型的全球下载量冠军。

目前,BGE-Code-v1、BGE-VL-v1.5、BGE-VL-Screenshot三款模型已向社区全面开放,为相关技术研究与产业应用提供助力。

BGE-Code-v1:

模型地址:https://huggingface.co/BAAI/bge-code-v1

项目主页:https://github.com/FlagOpen/FlagEmbedding/tree/master/research/BGE_Coder

论文链接:https://arxiv.org/abs/2505.12697

BGE-VL-v1.5:

模型地址:https://huggingface.co/BAAI/BGE-VL-v1.5-zs

项目主页:https://github.com/FlagOpen/FlagEmbedding/tree/master/research/BGE_VL

论文链接:https://arxiv.org/abs/2412.14475

BGE-VL-Screenshot:

模型地址:https://huggingface.co/BAAI/BGE-VL-Screenshot

项目主页:https://github.com/FlagOpen/FlagEmbedding/tree/master/research/BGE_VL_Screenshot

论文链接:https://arxiv.org/abs/2502.11431

由智源研究院主导研发的通用向量模型系列BGE,旨在为各类数据提供高效一站式向量表征与语义检索方案,已推出覆盖中英文、多语言检索及重排模型等多个版本,持续刷新MTEB、C-MTEB、BEIR、MIRACL等主流文本向量评测基准。

BGE凭借高性能与开源特性备受业界关注,已广泛应用于RAG、神经搜索等场景,累计下载超6亿次,被国内外多家AI企业集成。

目前,检索增强技术正从传统的文本场景逐步拓展至涵盖代码与视觉等多模态数据的应用。

然而,相较于文本领域,现有向量模型在代码和视觉模态中的检索效果仍有待提升。

此次智源研究院发布的三款新模型,为构建更强大的多模态检索增强系统提供了有力的支持。

BGE-Code-v1

新一代代码优化语义向量模型

随着基础模型代码能力快速发展,Cursor、Copilot等辅助编程工具大幅提升生产力。

在面对百万行级代码库时,代码块检索增强需求凸显,因此检索模型的代码理解能力至关重要。

BGE-Code-v1是以Qwen2.5-Coder-1.5B为基座打造的新一代代码向量模型,专为各类代码检索相关任务而设计,同时配备了强大的多语言文本理解能力。

模型基于CoIR训练集和大量高质量代码-文本的合成数据进行训练,并使用课程学习,以BGE-gemma2-multilingual 的retrieval、STS数据为辅助,进一步提升代码与文本的理解能力。

BGE-Code-v1适用于开发文档搜索、代码库语义检索、跨语言信息获取等多种实际应用场景,是面向代码-文本检索任务的最优选择。

CoIR代码检索基准,收集了覆盖14种编程语言的4大类8个子任务,能够有效地评估模型在自然语言和代码的各类混合场景中的检索能力。

CodeRAG-Bench基准评估了代码检索模型在代码检索增强(RACG)中的表现。

BGE-Code-v1在两个基准上均以显著优势超越谷歌、Voyage AI、Salesforce、Jina等商业/开源模型,登顶SOTA。

BGE-VL-v1.5

通用多模态检索模型

BGE-VL-v1.5 完成多模态检索任务

BGE-VL-v1.5是基于LLaVA-1.6(7.57B参数)训练的新一代通用多模态检索模型,全面升级了图文理解能力并具有更强大的检索能力。

BGE-VL-v1.5在MagePairs 300万 (3M) 图文对齐数据基础上又收集了共100万条自然与合成数据(涵盖image-captioning数据、视觉问答数据、分类任务数据)进行多任务训练,显著地提升了模型在各类任务上的泛化性与理解能力。

基于MegaPairs数据,BGE-VL-v1.5在多模态检索任务中性能优势显著,不仅在图像检索中表现强劲,更在通用多模态场景中展现高适应性与准确率,适用于图文匹配、多模态问答、跨模态推荐等场景。

MMEB是当前使用最广泛的多模态向量基准,由:分类、视觉问答、检索、视觉基础知识,四类任务构成。

基于zero-shot设置(未使用MMEB训练集),BGE-VL-v1.5-zs在MMEB基准中刷新zero-shot模型最佳表现;在检索任务上,基于MMEB微调的BGE-VL-v1.5-MMEB以72.16分登顶SOTA。

BGE-VL-Screenshot

实用强大的视觉化文档向量模型

实际场景中网页、文档等多模态任务常由图文、符号、图表等多元素混合数据构成,这类任务称为「可视化信息检索」(Vis-IR),因此,多模态模型不仅需要具备从复杂结构中提取关键信息的视觉能力,还需精准理解文本与视觉语义。

目前,现有检索模型在此类任务中表现欠佳。

BGE-VL-Sc基于截图与文本检索

BGE-VL-Screenshot模型基于Qwen2.5-VL-3B-Instruct,以新闻、商品、论文、文档、项目主页等七类数据源进行训练,收集超过1300万张截图和700万组标注截图问答样本。

为了准确评估模型在Vis-IR任务上的表现,团队设计并推出了多模态检索基准MVRB(Massive Visualized IR Benchmark,涵盖截图检索、复合截图检索、截图QA和开放分类4项任务共20个数据集。

MVRB榜单链接:https://huggingface.co/spaces/BAAI/MVRB_leaderboard)

BGE-VL-Screenshot在4项任务中表现出色,以60.61的综合得分达到SOTA。

在此基础上,通过少量query2screenshot多语言数据训练,模型实现了在英文之外的多语言任务上的出色表现。

智源研究院将继续深耕向量模型与检索增强技术,进一步提升BGE模型系列的能力与通用性。

未来期待与更多科研机构与产业伙伴合作,共同推动检索与人工智能发展。欢迎广大研究者与开发者关注并使用 BGE 系列模型,共建开放繁荣的开源生态。

 时事1:十八禁🔞打屁股🍑网站

  06月01日,欧亚水獭重现广东珠海淇澳-担杆岛保护区,

  最后,预祝石家庄工程职业学院的“众创空间”发展顺利! 谢谢大家!

,龙珠18号被爆❌羞羞视频。

  06月01日,外资加码布局中国市场,

信用卡逾期银行自动怎么办?自动合法吗

,脱👙让学生c🐻-百度,班主任穿旗袍方便让我C视频,男人猛躁女人秘免费看网站软件。

 时事2:黄色直播间bj

  06月01日,“五一”返程高峰日 哈铁预计发送旅客48万人次,

  而这时却有数百人在赏景,在射猎,无所畏惧,一个个血气滔天,强大的让人颤栗!

,扒开她的小内裤揉搓湿震蛋放漫画,3dmax成品资源动漫,skil女性向全部剧集介绍。

  06月01日,海南省军区某部参谋高海超:多下苦功夫,关键时刻才能顶得上,

  高度决定视野,角度改变观念,尺度把握定位。纵览公司的发展,衡量企业的长短有两把尺子。第一把是纵尺。用这把尺子量,走过的十一年里,特别是近几年取得了前所未有的成绩,值得自豪。第二把是横尺,即是横向比较。用这把尺子量,就会看到与我们同期发展的企业的巨大进步和成果。就会在比较中看到还有很多不足。

,免费把🍌伸进女人的🍑洗澡,星",莫妮卡裸体。

 时事3:惩罚抽插红肿外翻合不上

  06月01日,广州塔1小时内6次“吸”闪电,

  这些思想问题虽然只存在于—定范围和少数人身上,但是如果我们不高度重视并切实加以解决,我们就不能在新一轮发展大潮中,赢得主动,实现超常发展;就不能在追赶先进乡外镇的征程中,奋起直追,实现跨越发展;就不能在激烈竞争中,脱颖而出,实现率先发展。一句话,我们就不可能完成既定的奋斗目标,率先建成全面小康社会只能是一句空话。

,霉霉的胸被C到高潮的视频,打屁股 和 鞭打 网站,小🐤🐤进桃子。

  06月01日,中新真探:油柑是“窜稀神器”吗?,

  晚上好!春回大地,万象更新!新的一年开始,又到了我们总结过去,展望未来的时候,首先,我要对为公司辛勤工作的各岗位全体员工致以衷心的感谢和新年的祝贺!

,美女露出🐻揉,japanese日本老熟妇HD,❤️爱情岛网址进入。

 时事4:嗯~啊~轻点揉🔞🔞被爆日本

  06月01日,“潭美”在越南登陆 海南继续发布海浪黄色预警,

  一、必须清醒认识到当前教育改革形势,才能统一思想,抢抓机遇,顺势而谋,形成合力,不断深化教育体制改革。

,女人张开腿桶进牛鞭,὚4禁漫天堂὚4羞羞漫画,摸同桌的我的变。

  06月01日,“哈尔滨文旅补贴旅游团费政策” 为不实消息,

  第四、加强纪律性,革命无不胜。

,五条悟被c到高潮(穿越咒回),桃花源(原:小黄人)最新版,工口魔女姬内衣。

责编:尤特

审核:杨金鸢

责编:屠牛

相关推荐 换一换