浪潮信息推出元脑R1推理服务器,单机释放DeepSeek 671B强大模力
北京2025年2月12日 /美通社/2月11日,浪潮信息正式推出元脑R1推理服务器,通过系统创新和软硬协同优化,单机即可部署运行DeepSeek R1 671B模型,帮助客户显著降低DeepSeek R1全参数模型的部署难度及成本,并提升推理服务性能,加速千行百业探索智能涌现。
当前,DeepSeek开源多版本模型,助力各行业加速应用大模型技术推动业务升级转型。其中,DeepSeek R1 671B模型作为全参数基础大模型,相比蒸馏模型具有更强的泛化能力、更高的准确性和更好的上下文理解能力,但也对系统显存容量、显存带宽、互连带宽和延迟提出了更高要求:在FP8精度下至少需要约800GB显存承载,FP16/BF16精度下需要1.4TB以上的显存空间;此外,DeepSeek R1是典型的长思维链模型,具有短输入、长输出的应用特点,推理解码阶段依赖更高的显存带宽和极低的通信延迟。面向671B模型的算力特征和系统需求,元脑R1推理服务器提供领先的显存容量、显存带宽和通信速度,能够助力企业高效完成DeepSeek全参数模型的本地化部署。
元脑R1推理服务器NF5688G7是领先的高算效AI计算平台,原生搭载FP8计算引擎,针对DeepSeek R1 671B模型部署速度快且无精度损失。在显存方面,提供1128GB HBM3e高速显存,满足671B模型FP8精度下不低于800GB显存容量的需求,单机支持全量模型推理情况下,仍保留充足的KV缓存空间。显存带宽高达4.8TB/s,完美契合DeepSeek R1模型"短输入长输出、显存带宽敏感"的技术特征,在推理解码阶段可实现显著加速。在通信方面,GPU P2P带宽达900GB/s,保障单机部署张量并行更佳通讯性能,基于最新推理框架单机可支持20-30用户并发。同时,单台NF5688G7配备3200Gbps无损扩展网络,可根据用户业务需求增长实现敏捷扩展,提供成熟的R1服务器集群Turnkey解决方案。
元脑R1推理服务器NF5868G8是专为大推理模型(Large Reasoning Model)创新设计的高吞吐推理服务器,业界首次实现单机支持16张标准PCIe双宽卡,提供高达1536GB显存容量,支持在FP16/BF16精度下单机部署DeepSeek 671B模型。创新研发基于PCIe Fabric的16卡全互连拓扑,任意两卡P2P通信带宽可达128GB/s,降低通信延迟超60%。通过软硬协同优化,相较传统2机8卡PCIe机型,NF5868G8可将DeepSeek 671B模型推理性能提升近40%,目前已支持多元AI加速卡选配。
浪潮信息是全球领先的IT基础设施产品、方案和服务提供商,通过发展新一代以系统为核心的计算架构,打造开放、多元、绿色的元脑智算产品和方案。浪潮信息致力于AI计算平台、资源平台和算法平台的研发创新,并通过元脑生态携手领先伙伴,加速人工智能的创新和应用落地。
- DAP专题丨内部模拟市场 提质增效的驱动力量
- 世界卫生日丨火星人D75洗碗机保护您的健康,让您享受高质量的生活
- CCTV4《2025年"四海同春"全球华侨华人春节大联欢》
- 疆果果深耕新疆坚果,创新研发打造品质坚果新标杆
- 行业领先!嘉驰国际第三次获评内资猎头排行榜TOP1
- 睿见数据荣获观点"2024商业楼宇科技创新领军平台"
- 浓情腊八 情暖苏城丨雷允上腊八养生粥免费赠
- ZICC:绍兴村民在COP29上讲述千年古树情缘
- 全民认证助力舟山公安网约房治理,为民服务 “心” 体验
- 联劝公益特邀天线宝宝担任"心愿实现官" 圆梦乡村儿童六一心愿
- 2024易路全球人力资源峰会回顾:大型连锁酒店集团如何以数为先,逐智而行
- transcosmos在中国发布生成式智能聊天机器人"trans-AI Chat"
- 马石油与中国石化达成战略合作,共同开拓未来新机遇
- 益美国际拓展国际绿能布局,盈利前景广阔可期
- 中国建筑商城:打造您的专属建筑梦工厂
- Omdia 预测,受体育赛事和创新生产策略驱动,2024 年大尺寸面板市场将迎来强劲复苏
- 中国铁塔 (788.HK) 公布2023年全年业绩
- 勃林格殷格翰荣获上海市质量金奖
- 深圳国际传感器与应用技术展览会盛大开幕,自动化网受邀参展
- NARAN汽车订单簿开启200万欧元无名终极跑车
- DeepL 连续第二年入选 2024 年福布斯云计算 100 强榜单
- Unity中国携手ICONA,为智能座舱注入前沿设计力量
- 亚马逊云科技连续5年位列Gartner云AI开发者服务魔力象限"领导者"
- 重塑金融前沿:Nucleus Software庆祝成立30周年
- 汽车空调行业巨头松芝携手中之杰智能,启动德沃克OBF智能工厂
- COP28 主席获得世界能源理事会颁发的首届 "全球能源转型影响奖"
- 亚盛医药公布2024年中期业绩:首次实现盈利,迈向全新发展阶段
- 曝光天津市创兴空间新材料有限公司全屋整装感受到沉稳而温暖的触感
- 「澳門銀河」诠释奢华身心健康美学
- 复宏汉霖H药 汉斯状®于欧盟获批上市,用于一线治疗广泛期小细胞肺癌
推荐
-
娃哈哈这艘商业巨舰将驶向何方,我们试目以待 2月25日,娃哈哈集团在官网发布讣告,娃哈哈创 财商
-
广东省药监局调研恒昌医药集团,聚焦药品流通产业高质量发展 日前,广东省药品监督管理局党组成员、副 财商
-
供应“安全感”超过红海“危机感”?欧洲天然气价格大跌 虽然冬季极寒天气来临,而且卡塔尔似乎已经暂 财商
-
日股盘中再破34年新高,今年还涨得动吗? 今年日股开局强势,1月5日以来开启连涨行情,日 财商
-
为何娃哈哈纯净水线上会卖断货? 随着网络上关于娃哈哈和农夫山泉之争的持续 财商
-
春节将至,抢票再次成为广大网友关注的热门话题 春节将至,抢票再次成为广大网友关注的热门话 财商
-
我们时常把创业想得太过简单,认为获得成功轻而易举 我们时常把创业想得太过简单,认为获得成功 财商