浪潮信息发布"源"Yuan-EB,刷新大模型RAG检索精度纪录!
北京2024年12月6日 /美通社/ -- 近日,浪潮信息发布"源"Yuan-EB(Yuan-embedding-1.0,嵌入模型),在C-MTEB榜单中斩获检索任务第一名,以78.41的平均精度刷新大模型RAG检索最高成绩,将基于元脑企智EPAI为构建企业知识库提供更高效、精准的知识向量化能力支撑,助力用户使用领先的RAG技术加速企业知识资产的价值释放。
Yuan-EB(版本号Yuan-embedding-1.0) 是专为增强中文文本检索能力而设计的嵌入模型(也称Embedding模型),在 "源2.0" 大模型的工作基础上,创新性地采用了"源2.0-M32"大模型进行数据重写与合成,并通过索引技术、样本排序等系列方法完成高质量微调数据集构建,能够有效提升RAG系统的检索精度。
C-MTEB是目前业内最权威的嵌入模型测试榜单。其中,检索任务(Retrieval)是检索增强生成(RAG)场景下最为重要、应用最广泛的任务能力,考察的是Embedding模型从大量的数据集中找到并返回与给定查询最相关或最匹配的信息的过程。"源"Yuan-EB基于该任务提供的医疗、新闻、电商、娱乐等8个中文文本数据集,实现了业界领先的海量文本检索精度。
“源”Yuan-EB 在Hugging Face的C-MTEB榜单中排名第一
"源"Yuan-EB助力RAG检索精度新高
嵌入模型在RAG流程中扮演着关键角色,它能够将复杂的高维数据(例如文本、图像或音频)转换为机器可理解的向量形式,直接决定了RAG检索的精准性和效率。
"源"Yuan-EB通过数据准备与模型微调两个方面的技术创新,实现了模型精度的大幅提升:
- 在数据方面,基于"源2.0"微调阶段的问答数据进行清洗与筛选,构建问题(query)与文本(corpus)数据集;使用"源2.0-M32"对C-MTEB 训练数据进行重写与合成,通过索引技术与排序模型进行高效的难负样本提取,完成大规模难负例样本挖掘,形成高质量微调数据集;
- 在微调方面,通过两个阶段的领先微调方法实现模型能力提升。第一阶段,使用各个领域(医疗、新闻、长文本、娱乐等方向)的大规模数据进行对比学习训练;第二阶段,采用"源2.0-M32"生成的合成数据进一步微调,并使用MRL方法完成"源"Yuan-EB训练;
"源"Yuan-EB为用户提供了大模型企业知识库应用开发的最优模型选择,能够在RAG流程的多个方面起到显著的精度提升,包括信息检索的准确性、处理大规模数据的效率、消除语义歧义、降低计算成本、增强对长文档的处理能力以及模型鲁棒性等,最大化提升RAG流程的整体性能和应用效果。
元脑企智EPAI集成"源"Yuan-EB,加速知识库构建与性能提升
目前,"源"Yuan-EB已经在开源社区和企业大模型开发平台元脑企智EPAI中全面开放下载。用户可以在元脑企智EPAI平台中快速使用"源"Yuan-EB,并结合EPAI自研的多阶段RAG技术,零代码、低成本地基于企业数据构建大模型知识库应用。
企业大模型开发平台"元脑企智"EPAI(Enterprise Platform of AI),是浪潮信息为企业AI大模型落地应用打造的高效、易用、安全的端到端开发平台,提供数据准备、模型训练、知识检索、应用框架等系列工具,支持调度多元算力和多模算法,帮助企业高效开发部署生成式AI应用、打造智能生产力。
元脑企智EPAI已经支持超过13种类型文档的信息识别与提取,结合创新的多级混合检索策略,有效提升元脑企智EPAI在管理、解析、检索知识库与生成内容方面的最终效果,帮助企业用户实现基于私有数据、行业数据下的精准检索、精准问答,确保专业场景下大模型生成内容的准确性和可靠性,加速大模型创新力释放。
- 维塑科技选择亚马逊云科技为首选云服务供应商
- 《2024年合并财务报表编制自动化白皮书》重磅发布
- 十年之约,共赴原点 | 2024第十届GDMS全球数字营销峰会完美收官
- The Seasons Games巴黎香街丽都剧院的沉浸式体验项目《四季游戏》
- NX集団报告增长和可持续发展工作
- 保费、资产均进寿险前20,招商信诺稳健发展成就特色经营之路
- 中国生物制药董事会主席及首席执行长近日连续增持公司股份合共750万股
- 广和通携手联发科技推出基于FG370和Filogic 660 Wi-Fi 7芯片组的5G CPE解决方案
- 总部位于新加坡的金融科技企业Aspire欣志汇进军香港,为在亚洲实现进一步增长做好准备
- "异世界小说:对泰国文学进行现代化演绎,吸引新一代读者"
- 第24届立嘉国际智能装备展开启参观预登记
- "健达快乐运动"助力大连国际中体联足球世界杯,倡导运动•快乐至上
- 体验经济时代,火星人集成灶以服务为用户持续创造价值
- Maison E.BOEHM 通过创作以荨麻为基础的负责任的纺织艺术进入奢侈品世界
- 特步321跑步节轻松开跑 360X重新定义大众碳板跑鞋
- 《桑榆未晚》-- 中国首部医患共创的阿尔茨海默病科普故事书亮相2024ADI亚太区域会议
- Axel Springer 和微软扩大在广告、人工智能、内容和 Azure 服务的合作关系
- NRF 2025亚太零售展盛大回归,规模翻倍,亮点吸睛
- 欧时RS PRO工业品甄选青岛信瑞亚一号店正式开业
- 武田创新药物替度格鲁肽中国获批 改写"短肠人"被输液袋困住的命运
- 毕博荣获IDC MarketScape ESG项目管理咨询服务市场主要参与者 (Major Players) 殊荣
- 探“蜜”自然与都市的共生艺术,康维他再赴进博之约
- 波司登携手MSGM,共谱泡芙系列新章,诠释冬日新风尚
- 科济药业BCMA CAR-T产品赛恺泽®(泽沃基奥仑赛注射液)在中国获批上市,惠及复发或难治性多发性骨髓瘤成人患者
- Louis Vuitton与「澳門銀河」携手合作,于银河时尚汇专门店及澳门悦榕庄池畔打造独家2024 度假主题限时概念空间
- 2024年"数据要素×"大赛山东分赛正式启动 浪潮云洲深挖"数据价值"赋能千行百业
- instagram协议群发工具-ins自动采集粉丝推广引流软件
- 上海交大高金金融MBA项目首次推出"科技金融"方向
- 国际可持续发展协进会(ICSD)创立CEPAR®五步方法 协助企业处理ESG挑战
- 坎帕里重返戛纳电影节庆祝和支持电影制作,启动了 "我们是电影院" 活动
推荐
- 春节将至,抢票再次成为广大网友关注的热门话题 春节将至,抢票再次成为广大网友关注的热门话 财商
- 广东省药监局调研恒昌医药集团,聚焦药品流通产业高质量发展 日前,广东省药品监督管理局党组成员、副 财商
- 为何娃哈哈纯净水线上会卖断货? 随着网络上关于娃哈哈和农夫山泉之争的持续 财商
- 供应“安全感”超过红海“危机感”?欧洲天然气价格大跌 虽然冬季极寒天气来临,而且卡塔尔似乎已经暂 财商
- 我们时常把创业想得太过简单,认为获得成功轻而易举 我们时常把创业想得太过简单,认为获得成功 财商
- 日股盘中再破34年新高,今年还涨得动吗? 今年日股开局强势,1月5日以来开启连涨行情,日 财商
- 娃哈哈这艘商业巨舰将驶向何方,我们试目以待 2月25日,娃哈哈集团在官网发布讣告,娃哈哈创 财商