阿联酋技术创新研究所利用新架构革新人工智能语言模型
- 经Hugging Face独立验证,Falcon Mamba 7B是全球性能第一的开源状态空间语言模型(SSLM)
- SSLM的内存成本低,无需额外内存即可生成任意长文本块
- Falcon Mamba 7B还优于传统的Transformer架构模型,如Meta的 Llama 3.1 8B和Mistral的7B
- 新模型体现了阿布扎比在人工智能研发领域的创新和开拓精神
技术创新研究所(TII)是全球领先的科研中心和阿布扎比先进技术研究理事会(ATRC)的应用研究支柱。该研究所发布了Falcon系列中的一款新的大型语言机型——Falcon Mamba 7B。经Hugging Face独立验证,新模型是全球性能第一的开源状态空间语言模型(SSLM)。
作为Falcon系列的首款SSLM,它有别于之前所有使用Transformer架构的Falcon模型。新的Falcon Mamba 7B模型是该研究所正在进行的开创性研究及其以开源形式向社区提供突破性工具和产品的又一例证。
ATRC秘书长兼阿联酋总统战略研究和先进技术事务顾问Faisal Al Bannai阁下表示:“Falcon Mamba 7B标志着TII连续第四次获得人工智能模型排名第一,巩固了阿布扎比作为全球人工智能研发中心的地位。这一成就彰显了阿联酋对创新的坚定承诺。”
在Transformer架构模型方面,Falcon Mamba 7B在HuggingFace新引入的基准测试中优于Meta的Llama 3.1 8B、Llama 3 8B和Mistral的7B。同时,在其他SSLM中,Falcon Mamba 7B在旧基准测试中击败了所有其他开源模型,它将成为HuggingFace新的更严苛基准测试排行榜上的第一款模型。
TII首席执行官Najwa Aaraj博士表示:“技术创新研究所继续通过Falcon系列人工智能模型突破技术发展的界限。Falcon Mamba 7B代表了真正的开创性工作,为未来的人工智能创新铺平了道路,这些创新将增强人类的能力并改善生活。”
状态空间模型在理解随时间演变的复杂情况(如一整本书的内容)方面表现极为出色。这是因为SSLM不需要额外的内存来消化如此大量的信息。
另一方面,基于Transformer的模型在记住和使用它们之前处理过的序列信息方面非常高效。这使它们在内容生成等任务中表现出色,然而,由于它们会将每个单词与其他单词进行比较,这就需要大量的计算能力。
SSLM可应用于各种领域,如估计、预测和控制任务。与Transformer架构模型类似,它们在自然语言处理任务中也有出色表现,可应用于机器翻译、文本摘要、计算机视觉和音频处理。
TII人工智能跨中心部门代理首席研究员Hakim Hacid博士表示:“在推出Falcon Mamba 7B之际,我为TII促进其发展的合作生态系统感到自豪。这次发布标志着我们向前迈出了一大步,启发了新的视角,进一步推动了对智能系统的探索。在TII,我们正在突破SSLM和Transformer模型的界限,以激发生成式人工智能领域的更多创新。”
Falcon LLM的下载次数已超过4500万次,证明了该模型的巨大成功。Falcon Mamba 7B将基于TII Falcon License 2.0发布。这是一种基于Apache 2.0的宽松软件许可证,包含一项促进人工智能负责任使用的可接受使用政策。如需了解有关这一新模型的更多信息,请访问FalconLLM.TII.ae。
*来源: AETOSWire
- 是一家专业提供建材及相关产品的大型商城
- 人工智能客服机器人:颠覆传统客服模式的新力量
- 爱听科技&智声听力战略合作签约圆满成功
- 怀山府交付,怀柔主城品质生活完美呈现
- 「原极科技」获数千万元A轮融资,推出更具性价比的贴片式惯性导
- 广州斑消宝化妆品有限公司旗下斑小将体验店怎么样
- TATA木门携手世乒赛打造体育盛宴,展现中国品牌风采
- 企业快讯丨杭州易文赛第三款细胞药物IND获受理公示!
- 欧盟发布D4、D5、D6限用令,花皙蔻纯净美妆标准再次引领全球
- 惠州市昆云科技有限公司:中小企业品牌形象塑造的引领者
推荐
- 海南大学生返校机票贵 有什么好的解决办法吗? 近日,有网友在“人民网领导留言板&rdqu 资讯
- 王自如被强制执行3383万 据中国执行信息公开网消息,近期,王自如新增一 资讯
- 私域反哺公域一周带火一家店! 三四线城市奶茶品牌茶尖尖两年时间做到GMV 资讯
- 透过数据看城乡居民医保“含金量” 缴费标准是否合理? 记者从国家医保局了解到,近期,全国大部分地区 资讯
- 新增供热能力3200万平方米 新疆最大热电联产项目开工 昨天(26日),新疆最大的热电联产项目—&md 资讯
- 国足13次出战亚洲杯首次小组赛0进球 北京时间1月23日消息,2023亚洲杯小组 资讯
- 产业数字化 为何需要一朵实体云? 改革开放前,国内供应链主要依靠指标拉动,其逻 资讯
- 奥运冠军刘翔更新社交账号晒出近照 时隔473天更新动态! 2月20日凌晨2点,奥运冠军刘翔更新社交账号晒 资讯
- 周星驰新片《少林女足》在台湾省举办海选,吸引了不少素人和足球爱好者前来参加 周星驰新片《少林女足》在台湾省举办海选,吸 资讯
- 大家一起关注新疆乌什7.1级地震救援见闻 看到热气腾腾的抓饭马上就要出锅、村里大家 资讯