智能时代的存储挑战与机遇:浪潮信息的创新探索与实践
北京2024年11月21日 /美通社/ -- 随着智能时代的全面到来,数据量呈现出爆炸性增长,这对存储系统提出了前所未有的高标准要求。从早期的"百模大战"演进至"千模大战",现已迈入了一个以数据为核心的新时代,其中数据成为了算法与算力不可或缺的基础支撑。
在近期举行的2024中国数据与存储峰会上,浪潮信息分布式存储产品部总经理姜乐果发表了题为《智能时代的数据存储平台》的主题演讲。在演讲中,姜乐果深刻剖析了智能时代背景下数据存储所面临的挑战及浪潮信息为应对这些挑战所做出的不懈努力与创新实践。
智能时代下的数据存储需求
无论是金融领域的风险精准识别、智慧交通中的自动驾驶技术、制造业中的精密质量检测,还是科研领域的高效计算探索,都深深依赖于海量数据的强大支持。然而,数据的迅猛增长也给存储系统带来了诸多前所未有的严峻挑战,这些挑战涵盖了更高的性能需求、更灵活的扩展能力,以及更智能化的管理机制等多个方面。
在人工智能时代,数据作为最为关键的载体,其计算过程中的存储环节面临着性能、效率和韧性这三大核心挑战。
姜乐果在演讲中着重指出,数据存储的性能已经成为制约众多应用场景进一步发展的关键因素之一。相较于以往,大模型的训练对存储性能的需求已经跃升了多个数量级。在传统时代,存储性能往往停留在百GB级的水平,而到了大模型训练的时代,这一需求已经激增到TB级。这意味着,如果没有足够快速的存储设备作为支撑,数据的读写时间将会大幅度延长,进而导致GPU等昂贵且宝贵的计算资源处于闲置状态,造成资源的极大浪费。
除了性能之外,数据存储的效率也是至关重要的。在当今这个数据多源异构的时代,数据来源于网络、云端以及政府机构等多个渠道,如何迅速有效地对这些数据进行清洗、整合,并最终形成有价值的数据资源,成为了一个亟待解决的难题。
此外,从国家政策的角度来看,数据要素已经被正式纳入资产负债表,成为了企业资产中不可或缺的一部分。这一举措不仅彰显了数据的巨大价值,同时也对存储系统的安全性与可靠性提出了更为严格的要求,以确保数据的完整性和保密性。
浪潮信息的创新探索与实践
面对智能时代的种种挑战,浪潮信息已经形成了清晰的存储平台构建策略。
在产品布局上,浪潮信息针对大模型训练推出了软件定义存储,它融合了块、文件、对象和大数据等多种存储类型,注重提供极致的性能和容量,并能够同时管理上层业务应用和第三方存储资源。而对于推理场景,浪潮信息则推出了阵列存储,利用传统盘阵的微秒级延时优势,能够迅速响应如人工智能驾驶等高要求场景的需求。此外,浪潮信息还自主研发了SSD,通过打通IO路径,进一步提升了存储效率。
为了提升性能,浪潮信息采用了端到端的优化策略。结合SSD和技术架构的演进,通过智能运行、缓存和自解锁等技术,对软件架构进行了重构。这使得小文件性能提升了5倍以上,大文件性能提升了10倍。在训练过程中,CheckPoint操作实现了秒级读写,TB级带宽的案例有效减少了GPU时延的浪费,从而提升了训练效率。
在智能空间管理方面,浪潮信息去除了本地文件系统,直接管理裸盘,并预分配空间和权限到计算节点。这种方式减少了原数据的访问,使得空间利用率达到了95%以上,同时性能没有衰减,进一步缩短了大模型训练的时间。
融合存储优化管理:浪潮信息软件定义存储从2016年自研至今不断发展,通过和客户业务深度结合的方式,推动产品从文件、对象融合逐步向四合一、五合一迈进。到目前,存储对内可以实现多协议互访互通、语义无损,同时只需要保存一份数据供多种协议访问;存储对外可通过全局文件系统支持数据跨介质、跨终端、跨域流动,实现一套存储管理所有平台,优化存储效率。
安全可靠保障业务:数据资产入表对安全性和可靠性要求高,浪潮信息在风险防控上检测率高、误报漏报率低,达到万分之2.9。利用AIOps功能预测性能、容量趋势和故障盘,提前预警处理,减少盘体故障导致的存储宕机。
在全球存储市场中,浪潮信息存储装机容量位居前三,企业存储业务在中国位居第二,全闪存储销售额同样在中国市场占据领先地位。随着大数据、云计算、人工智能等技术的快速发展,数据存储需求日益多样化且复杂化。基于此,浪潮信息凭借深厚的技术研发底蕴,积极推动场景共同体建设,与合作伙伴共同探索解决方案、定制产品,并协同拓展市场,共同推动存储领域的进步。展望未来,浪潮信息将不断致力于提供更加优质、高效、安全的存储解决方案,以应对市场对高效、可靠存储的迫切需求,为各行各业的数字化转型和智能化升级提供坚实支撑。
- 2024 年商学院申请在经济不确定性中增长显著
- 多方助力科学共建 做好女性健康守门人
- 雪川连续四年获评中国品牌500强,品牌价值130亿元
- CHARLES & KEITH快速扩张 六个月内在全球主要城市开设三家特色旗舰店
- 北京丽思卡尔顿酒店携手巴黎朵梵推出「奢耀鎏光」联名下午茶
- 能源互联,智连未来----TÜV南德举办光储新标准法规技术研讨会
- 贝克曼库尔特生命科学推出新品CytoFLEX nano纳米流式分析仪
- 书赞桉诺宣布全球最大的木浆生产线正式投入运营
- Kohler Co.凭借与艺术家/设计师塞缪尔•罗斯合作的装置作品入围米兰设计周 FuorisAlone 奖
- K Club Ubud与Akar Gastrobar荣获2024年世界豪华大奖,全球瞩目!
- 拜耳健康消费品进博"聚能",共助健康触手可及
- 2024“科慕∙科学奇想营”公益科普活动圆满落幕
- 第89届CMEF启幕!开立医疗构建智慧医疗创新标杆
- 在首次亮相十周年之际,Michter's再次发布其US*1烘焙桶装波本威士忌
- Syncron任命Claire Rychlewski为首席营收官
- 徐结根携恒福、东道汝窑品牌亮相广交会,招商开启国际新篇章
- 全民营养周:免疫系统是健康基石,科学补充营养至关重要
- CCE2024盛启:三月上海之约,共绘清洁行业智能新篇章
- Starlight Investments大幅增加其英国BTR平台,以5亿英镑收购曼彻斯特和巴西尔登的三个社区,共计1,541套新房屋
- 农信机构反洗钱防电诈大赛圆满落幕,领雁科技限额开放赛题平台
- SDAIA和Microsoft将建立卓越中心,推动人工智能转型创新
- IDC:中国边缘计算市场快速增长,浪潮信息份额近半稳居第一
- Yellow.ai 推出生成式 AI 驱动的自动化电子邮件,为即时且可扩展的客户支持提供服务
- CPB肌肤之钥宣布中岛幸子荣获"2025光耀之力奖"
- 人工智能与医用机器人类别赛将于8月30-31日在北京昌平举办
- 绵阳九皇山花溪景正式开园!花样活动异彩纷呈,静待辛夷花开!
- DAMAC International在香港设立新办事处,扩大在亚太地区的业务
- 微芯生物一款治疗肿瘤原创新药CS231295片临床试验申请(IND)获受理
- Ortel推出用于激光雷达和光学传感的下一代激光模块
- 相聚羊城 共赴盛会丨绽妍生物亮相第63届中国(广州)国际美博会