实现DeepSeek671B全参数微调 HKGAI V1香港本土大模型发布
2月25日,香港特区政府重点创科项目“InnoHK创新香港研发平台”(InnoHK)资助的香港生成式人工智能研发中心(HKGAI)正式发布业界首个基于DeepSeek 671B全参数微调、持续训练产生的大模型HKGAI V1,并计划将该模型接入自研AI智能对话应用“港话通”(手机版)、公文写作系统“港文通”(HKPilot)以及其他系统,全面支持粤语、英语和普通话。
香港特区政府创新科技及工业局局长孙东教授表示,人工智能正在引领新一轮技术革命和产业变革,在这波以人工智能为代表的科技浪潮中,香港没有缺席。他希望香港研发的大语言模型能够立足香港,尽快提供给业界及市民使用,服务大众,日后更希望利用这个平台服务数以千万的海外华人。
香港特区政府创新科技及工业局局长孙东教授致辞
同时,孙东教授表示:“HKGAI研发中心的团队迅速将DeepSeek完美的底座模型架构与HKGAI非常杰出的数据处理,微调和对齐技术有机结合,从当初中心的成立,到今天我们香港自己的大语言模型的推出,历时一年半,从无到有,书写了狮子山下一个美好的科创传奇。”
香港科技大学首席副校长、香港生成式人工智能研发中心主任郭毅可教授表示,在香港特区政府领导和大力支持下,HKGAI V1通过深度融合我国的技术路径和香港特有数据和地方文化及价值观,实现了我国人工智能自主创新成果在香港的本土化落地,架设起我国人工智能技术出海的高速通道,为“一国两制”制度优势下香港与内地协同创新的重要案例。
打造“聪明的香港AI对话助手”
“狮子山精神象征着香港市民自强不息、同舟共济的价值观。要教授孩子这一精神,可以陪孩子参与集体活动,如社区清洁、义卖筹款等……”在HKGAI V1全球首发发布会现场,“港话通”正在为一位体验者出谋划策。
“我们使DeepSeek通过香港本地化成为‘聪明的香港AI对话助手’。”郭毅可表示,“我们不仅植入了香港法律条例、政府文书等大量本地公文数据,更创新性地使用香港文化数据开展训练,使模型真正具备‘港式思维’、香港文化,努力实践与体现‘一国两制’制度优势。”
香港科技大学首席副校长、香港生成式人工智能研发中心主任郭毅可教授演讲
据悉,截至目前,在数字政策办公室的协调下,香港特区政府已有约70个部门参与试用“港文通”。
据郭毅可介绍,在香港公务员公文处理的场景中,HKGAI V1运行效率和内容丰富性较国际主流模型大幅提升,兼具合规性要求。“我们推出HKGAI V1旨在为香港打造最先进的本地化大模型,未来提供给市民和政府使用,并赋能香港产业体系变革与发展。”郭毅可说。
实现DeepSeek 671B首次全参数微调
“聪明的香港AI对话助手”迅速上线,离不开由HKGAI和北京大学联合组成的技术团队的攻关突破,也离不开香港数码港给予大力支持。“我们在短短几周内完成DeepSeek 671B大模型从基座迁移到全参数微调的开发流程。”HKGAI预研部主任韩斯睿教授表示,区别于常见的轻量级微调方案,研发人员基于本地千卡算力集群,对模型千亿参数进行全参数监督微调,在确保通用智能水平不降级的前提下,完成模型的本地化,实现了对香港语言文化、政务流程、商业规范等垂直领域的深度适配。
据核心技术人员透露,HKGAI技术团队成功突破671B全参数微调领域一系列技术壁垒,为国产大模型的持续训练提供了创新解决方案。开源基座的训练支持缺失是技术团队遭遇的首个“拦路虎”。通过深入解析核心论文,技术团队重构了模型架构的关键组件。面对数据配比这一行业共性难题,技术团队通过大量实验,分析不同数据子集对模型收敛速度和泛化能力的影响,实现目前的最好效果。针对671B超大参数规模模型,技术团队成功在较短时间内攻克高并发场景下的推理计算难关。该框架已形成完整技术栈,未来可快速复用于其他超大规模模型训练。
骐骥千里,非一日之功。据了解,在香港特区政府,特别是创新科技及工业局及创新科技署的资助与大力支持下,自2023年10月成立以来,HKGAI肩负着香港特区政府应对全球生成式AI浪潮的重任,由香港科技大学牵头,联合多所高校共同组建,致力于构建具有香港本地特色的开源大模型,以增强香港在AI浪潮中的全球竞争力。“HKGAI过去一年在算力集成、技术研发、应用拓展、人才培养等方面的积累,是HKGAI V1得以快速开发和应用的重要原因。”郭毅可称。
香港特区政府创新科技及工业局局长孙东教授与HKGAI研发团队合影留念
郭毅可表示,衷心感谢香港特区政府一直以来对HKGAI的关爱和支持,HKGAI V1项目的推进始终遵循“国家所需、香港所长”的战略导向。“在中国科技自立自强进程中,HKGAI V1的诞生具有特殊战略价值。其采用的‘国产基座+本地化创新’双轮驱动模式,既保障了底层技术的安全可控,又充分释放了香港本地化与国际化数据要素的活力。”郭毅可称。
发挥“内联外通”独特优势
香港“内联外通”优势正在AI时代焕发新机。郭毅可表示,依托香港融通中外的独特优势,HKGAI V1通过两大战略路径构建科技创新赋能体系:对内开展创新协同,通过内地-香港联合实验室实现技术共融,驱动粤港澳大湾区人工智能产业链能级跃升,为打造世界级科创中心注入新动能;对外进行国际化辐射路径,以香港为支点构建海外技术交流网络,通过向海外华人社区及国际市场输出国际化的AI解决方案,系统提升中国科技创新标准的全球渗透力。
郭毅可坦言,站在新的历史节点,HKGAI将在AI数据治理、校企协同人才培养、AI+香港特色产业,如法律、金融、医疗等重点领域持续突破。“在世界AI发展的浪潮中,在国家AI发展的征途上,我们香港不能缺席,我们既要做攻坚尖刀,又可当科技试验田。”郭毅可的这番展望,道出了HKGAI科技工作者的共同心声。
- Instagram群发教程,ins一键私信采集营销工具,ig引流脚本
- 西安工程网:打造一站式工程服务平台,助力西安工程建设迈向新高度
- Lightweight Carbon Fiber Sheets: Perfect for Drone Manufacturing
- 明牌珠宝——刘涛春日新形象,中国浪漫,蝶恋花开
- 易智瑞:自然资源数字化治理能力提升关键技术解读
- Instagram采集指定地区用户,ins接粉软件,ig打粉软件
- WhatsApp获客秘籍 跨境爆粉,轻松引流
- 开普云开悟大模型+知识库:AI行业场景落地的必由之路
- instagram精准引流黑科技,一分钟引爆您的ins账号
- ins群发软件/ins营销软件,海外爆粉速度联系天宇测试
- "解锁WhatsApp营销新姿势 想要大量账号批量拉群,轻松实现高效引流吗
- Cutting Carbon Fiber Sheets: A Guide to Precision and Best Practices
- 网络营销推广群发器——精准定位,WhatsApp批量拉群,助力你的广告腾飞
- 业界唯一!超高端滑轨CT进入手术室,实现 “1+1>N”
- 争抢 “新赛道”:5G定位加速商用
- Instagram营销工具-Ins自动推广软件/ig群发助手
- 福昕鲲鹏亮相福州第七届数字中国建设成果展览会
- Instagram群发软件,ins协议群发引流工具,ig协议号购买
- 助力全民健身事业发展:舒华体育荣获“社会体育指导员工作贡献奖”
- Instagram引流神器-Ins自动推广软件/ig精准群发助手
- 法大大重磅发布《物流运输行业电子签最佳实践案例集》,助推智慧物流升级!
- Ins群发群控工具,Instagram多开云控群发软件,助你快速推广!
- 外贸征途 WhatsApp拉群小白如何依靠XXX工具征服海外市场
- 安世亚太田锋:你八成没明白什么是“仿真驱动研发”
- 谷器数据入选“2024一线、新一线城市数字经济典型标杆企业TOP100”榜单
- Ins群发群控工具,Instagram多开云控群发,助你实现营销目标!
- WhatsApp精准筛选助手,ws高效群发器,ws自动工具,引流一步到位
- 沃飞长空全球总部基地在成都开工,共创低空产业新高地
- WhatsApp账号拉群软件 全球海外营销的新选择
- 高合丁磊准确分析市场,积极创新引领汽车发展新方向
推荐
-
如何经营一家好企业,需要具备什么要素特点 我们大多数人刚开始创办一家企业都遇到经营 科技
-
老杨第一次再度抓握住一瓶水,他由此产生了新的憧憬 瘫痪十四年后,老杨第一次再度抓握住一瓶水,他 科技
-
升级的脉脉,正在以招聘业务铺开商业化版图 长久以来,求职信息流不对称、单向的信息传递 科技
-
智慧驱动 共创未来| 东芝硬盘创新数据存储技术 为期三天的第五届中国(昆明)南亚社会公共安 科技
-
创意驱动增长,Adobe护城河够深吗? Adobe通过其Creative Cloud订阅捆绑包具有 科技
-
苹果罕见大降价,华为的压力给到了? 1、苹果官网罕见大降价冲上热搜。原因是苹 科技
-
丰田章男称未来依然需要内燃机 已经启动电动机新项目 尽管电动车在全球范围内持续崛起,但丰田章男 科技
-
B站更新决策机构名单:共有 29 名掌权管理者,包括陈睿、徐逸、李旎、樊欣等人 1 月 15 日消息,据界面新闻,B站上周发布内部 科技
-
疫情期间 这个品牌实现了疯狂扩张 记得第一次喝瑞幸,还是2017年底去北京出差的 科技
-
全力打造中国“创业之都”名片,第十届中国创业者大会将在郑州召开 北京创业科创科技中心主办的第十届中国创业 科技