元脑SSD助力R1推理服务器,单机即可释放DeepSeek 671B强大模力
北京2025年3月5日 /美通社/ -- 近期,浪潮信息正式推出元脑R1推理服务器,搭载自研NVMe SSD,通过系统创新和软硬协同优化,单机即可部署运行DeepSeek R1 671B模型,帮助客户显著降低DeepSeek R1全参数模型的部署难度及成本,并提升推理服务性能,加速千行百业探索智能涌现。
当前,DeepSeek开源多版本模型,助力各行业加速应用大模型技术推动业务升级转型。其中,DeepSeek R1 671B模型作为全参数基础大模型,相比蒸馏模型具有更强的泛化能力、更高的准确性和更好的上下文理解能力,但也对系统显存容量、显存带宽、互连带宽和延迟提出了更高要求:在FP8精度下至少需要约800GB显存承载,FP16/BF16精度下需要1.4TB以上的显存空间;此外,DeepSeek R1是典型的长思维链模型,具有短输入、长输出的应用特点,推理解码阶段依赖更高的显存带宽和极低的通信延迟。面向671B模型的算力特征和系统需求,元脑R1推理服务器提供领先的显存容量、显存带宽和通信速度,能够助力企业高效完成DeepSeek全参数模型的本地化部署。
元脑R1推理服务器NF5688G7是领先的高算效AI计算平台,原生搭载FP8计算引擎,针对DeepSeek R1 671B模型部署速度快且无精度损失。在显存方面,提供1128GB HBM3e高速显存,满足671B模型 FP8精度下不低于800GB显存容量的需求,单机支持全量模型推理情况下,仍保留充足的KV缓存空间。显存带宽高达4.8TB/s,完美契合DeepSeek R1模型"短输入长输出、显存带宽敏感"的技术特征,在推理解码阶段可实现全力加速。在通信方面,GPU P2P带宽达900GB/s,保障单机部署张量并行最佳通讯性能,基于最新推理框架单机可支持20-30用户并发。在SSD方面,搭载自研NVMe SSD,读写达7400/6200MB/s,可以有效保证高效存储。同时,单台NF5688G7配备3200Gbps无损扩展网络,可根据用户业务需求增长实现敏捷扩展,提供成熟的R1服务器Turnkey解决方案。
元脑R1推理服务器NF5868G8是专为大推理模型(Large Reasoning Model)创新设计的高吞吐推理服务器,业界首次实现单机支持16张标准PCIe双宽卡,提供高达1536GB显存容量,支持在FP16/BF16精度下单机部署DeepSeek 671B模型。创新研发基于PCIe Fabric的16卡全互连拓扑,任意两卡P2P通信带宽可达128GB/s,降低通信延迟超60%。通过软硬协同优化,相较传统2机8卡PCIe机型,NF5868G8可将DeepSeek 671B模型推理性能提升近40%,目前已支持多元AI加速卡选配。
元脑R1推理服务器NF5868G8是基于自研部件的整体解决方案,面对DeepSeek的模型规模庞大参数,如DeepSeek-V3总参数达6710亿,如此大规模的参数在模型训练和推理过程中需要实时存储和快速调用,SSD与CPU、GPU等硬件协同工作,减少存储系统对整体性能的瓶颈限制,缩短训练时间。
元脑SSD能够提供足够的存储空间和快速的读写能力,确保参数的高效访问,从而提升模型稳定运行速度。NS6500/6600G2 NVMe SSD集成了3D eTLC NAND 闪存,顺序读写达7400/6200MB/s,帮助整机带宽提升10%以上;可靠性和稳定性方面,平均无故障时间(MTBF)达280万小时,相较业界提升40%,误码率(UBER)10e -18,较同类产品降低90%,特别是智能动态温控技术,可以保障DeepSeek长时间负载不掉速且稳定运行。作为专为企业数据中心、云服务、IoT、AI及机器学习等领域打造的企业级SSD,以业界领先的性能、可靠性、稳定性、安全性全面支撑NF5688G7推理服务器高效、稳健、安全运行。
浪潮信息是全球领先的IT基础设施产品、方案和服务提供商,通过发展新一代以系统为核心的计算架构,打造开放、多元、绿色的元脑智算产品和方案。浪潮信息致力于AI计算平台、资源平台和算法平台的研发创新,并通过元脑生态携手领先伙伴,加速人工智能的创新和应用落地。
- SGS出席大物流新质生产力峰会:探讨ESG标准与碳政策的影响
- 招商信诺人寿以客户为中心构建"大消保"服务体系
- IFPA庆祝2024年第七届IFPA大会的成功
- Loyalty Juggernaut以AI新技术扩展专利组合
- 向热带雨林出发 闯入"奇花异树"的世界
- 上海外服与Deel签署全球战略合作框架协议
- Aetna集团在中国的第二个工厂落成,产能显著提升
- 福伊特集团发布2022/23财年可持续发展报告
- 科济药业发布2023年度业绩
- 以AI+产品矩阵赋能千行百业,普渡机器人召开2024年新品发布会
- Visa 数据观察:2024 年巴黎奥运会期间的消费增长有力助推法国经济
- 维塑科技选择亚马逊云科技为首选云服务供应商
- 超视立第二届优秀员工及父母家人乐游石家庄活动圆满落幕
- "美好圈圈舞会"圆满闭幕,让社群与公益的美好联结生生不息
- CGTN美国和联合国中央电视台:新时代深化中国改革的全球机遇
- 蜗牛游戏宣布与Loric Games合作推出Echoes of Elysium
- 参会报名倒计时 | 重磅大咖已就位,CPHI思享会邀您共赴千人盛会
- 中通快递发布2024年第二季度未经审计财务业绩
- 海飞丝首届「肩膀大使接头大会」 头与肩 没距离
- 万豪国际集团签署协议将W酒店品牌引入三亚
- 能建时代研究院新型储能eBEST系列产品发布
- MITHRIDATE携手新任创意总监Daniel Fletcher开启全新篇章
- 陆道培医学团队在BLOOD期刊发表白血病融合基因研究成果
- 第三十一届中国汽车工程学会年会暨展览会将于11月11-14日于重庆召开
- 研华科技亮相工博会 以AIoT驱动产业数智升级
- 企业开放日| 存融Centron积极推动校企合作,助力毕业生职业发展
- 美纳里尼集团和MEDSIR推出III期研究ADELA:一种针对晚期乳腺癌的新治疗策略
- 巨湾技研与优湃能源携手共绘新能源生态新蓝图,战略合作框架协议正式签署
- 黑芝麻智能与Dirac签署合作备忘录,携手创造优质座舱聆听体验
- 2024中非智库能源论坛在乍得成功举办
推荐
-
供应“安全感”超过红海“危机感”?欧洲天然气价格大跌 虽然冬季极寒天气来临,而且卡塔尔似乎已经暂 财商
-
为何娃哈哈纯净水线上会卖断货? 随着网络上关于娃哈哈和农夫山泉之争的持续 财商
-
广东省药监局调研恒昌医药集团,聚焦药品流通产业高质量发展 日前,广东省药品监督管理局党组成员、副 财商
-
春节将至,抢票再次成为广大网友关注的热门话题 春节将至,抢票再次成为广大网友关注的热门话 财商
-
日股盘中再破34年新高,今年还涨得动吗? 今年日股开局强势,1月5日以来开启连涨行情,日 财商
-
我们时常把创业想得太过简单,认为获得成功轻而易举 我们时常把创业想得太过简单,认为获得成功 财商
-
娃哈哈这艘商业巨舰将驶向何方,我们试目以待 2月25日,娃哈哈集团在官网发布讣告,娃哈哈创 财商