大模型后训练时代,九章云极DataCanvas公司打造普惠算力服务新范式
9月12日,由工业和信息化新闻宣传中心承办的“算力服务高质量发展论坛”在2024中国国际服务贸易交易会期间召开,九章云极DataCanvas公司AI首席科学家缪旭受邀出席论坛,并发表“大模型后训练时代的算力服务思考”主旨演讲。
本次论坛以“以算凝力,融创未来”为主题,汇聚来自政、产、学、研界多位重量嘉宾,剖析算力产业最发展新趋势,分享算力基础设施建设实践经验,共同探讨算力服务高质量发展之道。
论坛上,缪旭先生在演讲中表示,随着基础模型面临的挑战不断升级与复杂化,大模型后训练模式正在崛起,成为应对上述挑战的关键路径。然而后训练模式的复杂性与高度定制化需求,对算力资源的精准调度、灵活配置和高效利用提出了前所未有的高标准挑战,企业亟需高质量、高效能、更经济、更好用的算力服务新范式。
九章云极DataCanvas公司AI首席科学家缪旭发表演讲
更自动、更高效、更精准,大模型后训练模式崛起
缪旭指出,当前基础模型发展迅猛,拥有广泛的行业应用潜力,但也面临着提示词工程复杂度高、难以规避的幻觉问题、规划能力不足以及高昂的成本负担等核心挑战。缪旭表示,通过大模型后训练策略的补足,可以有效应对上述瓶颈。
大模型后训练的核心策略为,在大模型基础训练完成后,通过使用新的数据集或任务对模型进行再次训练,以提高模型的适应性和性能。这个过程通常包含提示词设计、模型微调、embedding优化及调度优化等多个环节。
具体而言,大模型后训练的过程如下:将复杂的业务逻辑梳理并封装成独立的、可管理的任务模块;随后针对每个单一任务模块实施精准的后训练微调,以增强其针对特定任务的适应性和性能。在完成模块集成重组后,结合业务系统及用户的互动反馈,持续进行自我学习和自我增强,最终实现模型性能自动、高效的持续提升。
大模型后训练方法的补足
新标准、新需求、新模式,普惠算力开启AI新时代
在大模型后训练的过程中,算力调度尤为关键,包括训练期的数据准备调度、微调任务编排,以及推理阶段的动态加载和异构算力管理。通过在调度过程中引入可训练的调度模型,在优化目标时增加效率和成本计算,结合线上、线下收集的数据持续优化调度模型,可以从软件层面有效提升算力调度能力,并降低计算成本,使算力应用更加贴近实际应用场景。
不同任务工作流的安排调度
在数据存储与处理的关键环节,大模型后训练模式对系统的安全性提出了更高要求,以确保算力资源能够无缝且安全地融入各类业务系统。依托业务系统与互联网的海量数据资源,以任务为驱动,大模型可以智能识别任务需求,自动收集并处理所需数据,生成高质量的微调数据集。此外,应用存算一体架以构可以有效降低数据传输的带宽消耗,提升数据处理的整体效率与安全性。
面对不同行业、不同场景的多样化大模型后训练需求,基于Alaya NeW高效的算力管理内核,九章云极DataCanvas公司提出国际首创的算力服务新范式,凭借统一性能基准、资源管理优化、方便估算成本收益、算力一体化等优势,提出了统一的算力服务计量单位“度”(DCU),并用其实现标准化的算力计量计费,让算力消费者轻松获得好用、经济、普惠的算力服务,实现算力资源0浪费。此外,通过提供完整的大模型+Agent开发工具链,Alaya NeW为各行业用户提供灵活的大模型和AI Agent定制能力,加速人工智能技术在各领域的深度融合与广泛应用。
作为国内领先的人工智能基础设施提供商,九章云极DataCanvas公司将继续坚持AI技术的自主创新,以领先的AI智算产品推动算力服务向更高质量、更高水平迈进,深度赋能千行百业的数智化转型。
- 成都万达瑞华酒店月圆时刻献礼阖家之欢
- 光生万物、智慧未来 美的光伏"厚积薄发"布局光伏赛道
- 云顶新耀将于2024年8月28日公布2024年度中期业绩
- 星火聊缘生态沙龙启航 | 浪潮信息与伙伴发布智能制造边缘方案
- 引领未来交易趋势,ATFX上线MetaTrader 5
- 2024年可持续建筑发展全球会议圆满闭幕
- 软通智服荣膺"2024人力资源服务机构优秀品牌"荣誉
- 全国首家新能源汽车检测国家示范站 多伦科技引领“光储充检”一体化车检新时代
- 深圳新风和睦家医院正式纳入粤港澳大湾区"港澳药械通"第三批指定医疗机构
- 西门子医疗携手CHESS肝脏健康联盟及国创平台,共同推进产学研医工创新合作
- 2024中关村论坛丨花皙蔻牡丹ESG创新实践助力构建人类美好星球
- Nothing 推出集成了 ChatGPT 的 Ear 和 Ear (a)
- 万枫品牌持续拓展新兴目的地 滁州高铁站万枫酒店首度亮相
- 新升级 浪潮信息边缘服务器支持英特尔第五代至强处理器
- 蓝帽子互动娱乐科技公司成功获批贵金属交易商执照
- 重庆尼依格罗酒店献礼中秋月饼礼盒
- 行业首创"10+5"质保,美的楼宇科技定义水机服务新高度
- 征战世赛 助力夺冠!泰克曼为世界技能大赛中国选手提供装备支持
- BRI在2024年度股东大会上分配48.10万亿印尼卢比股息
- 奥动「轻卡30秒极速换电站」重磅首发钓鱼台
- TÜV莱茵加入AEC汽车电子委员会,致力提升汽车电子产品可靠性
- 第十九个世界肠道健康日,专家畅谈肠之道,共守健康门
- 赵露思惊喜亮相成都大悦城,适乐肤X屈臣氏明星新品发布会圆满落幕
- Monsha'at携18个领先沙特品牌参加2024年巴黎特许加盟展览会
- 国际可持续发展协进会(ICSD)创立CEPAR®五步方法 协助企业处理ESG挑战
- 旭日东方绿色能源展现无限魅力 引领中国新能源走向国际
- 勃林格殷格翰发布全球首项糖尿病黄斑缺血研究的积极结果
- 裕利医药(Zuellig Pharma)与再生元制药(Regeneron)就将Libtayo®(西米普利单抗)引入韩国和台湾市场达成协议
- 富士胶片集团发布2023财年财务报告
- 优克联于VivaTech 2024 正式推出全新 GlocalMe® Life 系列