Cloudera 推出具有嵌入式 NVIDIA NIM 微服务的 AI Inference 服务,以加速 GenAI 的开发与部署
Cloudera 的 AI Inference 服务通过 NVIDIA 加速计算和 NVIDIA NIM 微服务将 LLM 的性能提升了 36 倍,不仅为企业提供了更卓越的性能,还确保其具有强大的安全性,以及灵活的可扩展性
这一综合能力将两家公司各自的优势融汇成一项统一化解决方案:Cloudera 提供的可信数据构建了可信 AI 的坚实基础,而 NVIDIA 则通过其加速计算技术与 NVIDIA AI Enterprise 软件平台实现了在 Cloudera 上安全高效的 AI 应用私密部署
圣克拉拉,加州和纽约, Oct. 09, 2024 (GLOBE NEWSWIRE) -- 作为唯一真正的混合数据、分析与 AI 平台,Cloudera 今日隆重推出由隶属于 NVIDIA AI Enterprise 平台的 NVIDIA NIM 微服务提供支持的 Cloudera AI Inference。 作为业内首批提供嵌入式 NIM 微服务功能的 AI 推理服务之一,Cloudera AI Inference 在大规模 AI 模型的部署与管理上独树一帜,极大地简化了这一复杂流程,让企业能够运用自身数据,充分挖掘其潜在价值,推动 GenAI 从试点阶段迈向全面生产的顺利过渡。
来自 Deloitte 的最新数据显示,合规风险和治理问题成为企业在推广运用 GenAI 时面临的最大障碍。尽管如此,GenAI 的推广运用仍在快速推进。今年第三季度,超过三分之二的组织增加了其在 GenAI 方面的预算。 为了有效缓解这些担忧,企业必须选择在私有环境中运行 AI 模型和应用,无论在本地部署还是在公共云上。 这一转变需要安全且可扩展的解决方案,以避免复杂的自助式实施方法。
Cloudera AI Inference 在企业控制范围内提供安全的开发和部署,从而有效保护敏感数据,防止其泄露到非私有的供应商托管 AI 模型服务中。 借助 NVIDIA 技术,该服务以高性能速度为可信 AI 构建可信数据,从而推动 AI 驱动的聊天机器人、虚拟助手和代理应用的高效开发,不仅提升了企业生产力,还为新业务的增长注入强劲动力。
Cloudera AI Inference 是在该公司与 NVIDIA 建立合作关系后推出的,进一步夯实了 Cloudera 在推动企业 AI 创新方面的坚定承诺。在当前许多行业面临数字化转型与 AI 整合复杂挑战的关键时刻,这一新产品的发布显得尤为重要。
开发人员可以借助 NVIDIA Tensor Core GPU,以增速 36 倍的性能构建、定制和部署企业级 LLM。与传统 CPU 相比,其吞吐量几乎达到原来的 4 倍。 这一无缝用户体验直接将 UI 和 API 与 NVIDIA NIM 微服务容器进行整合,省去了对命令行界面 (CLI) 和独立监控系统的需求。 将该服务与 Cloudera 的 AI Model Registry 进行整合后,通过对模型端点和操作的访问控制进行管理,进一步增强了安全性和治理能力。 用户可以从统一平台中受益——所有模型,无论是 LLM 部署还是传统模型,均可在同一个服务下实现无缝管理。
Cloudera AI Inference 的其他重要功能包括:
- 高级 AI 功能:利用 NVIDIA NIM 微服务优化开源 LLM,包括 LLama 和 Mistral,以推动自然语言处理 (NLP)、计算机视觉及其他 AI 领域的前沿进步。
- 混合云与隐私:在本地或云中运行工作负载,采用 VPC 部署以增强安全性和合规性。
- 可扩展性与监控:依托自动扩展、高可用性 (HA) 和实时性能跟踪来检测和纠正问题,并实现高效资源管理。
- 开放 API 与 CI/CD 整合:访问符合标准的 API,以实现模型的部署、管理和监控,从而完成与 CI/CD 管道和 MLOps 工作流的无缝整合。
- 企业安全:通过服务账户、访问控制、数据溯源和审计功能来加强对模型访问的管理。
- 风险管理部署:进行 A/B 测试和金丝雀发布,以实现受控模型更新。
行业分析师 Sanjeev Mohan 表示:“企业渴望投资 GenAI,但这需要可扩展的数据,以及安全、合规且治理良好的数据。 在私有环境中大规模生产 AI 会导致复杂情况的出现,而自助式方法往往难以应对。 Cloudera AI Inference 将先进的数据管理与 NVIDIA 的 AI 专业知识相整合,从而填补了这一空白,充分释放数据的潜力,同时确保其安全性。 借助企业级安全功能,如服务账户、访问控制和审计,组织能够自信地保护其数据,在本地或云中运行工作负载,高效部署 AI 模型,同时确保必要的灵活性与治理。”
Cloudera 的首席产品官 Dipto Chakravarty 表示:“我们很高兴与 NVIDIA 携手合作,将 Cloudera AI Inference 推向市场,提供一个支持几乎所有模型和应用场景的统一化 AI/ML 平台,使企业不仅能够利用我们的软件创建强大的 AI 应用,还能在 Cloudera 中运行这些高效 AI 应用。 通过整合 NVIDIA AI,Cloudera 能够凭借先进性能促进更智能的决策制定,同时大规模利用可信数据构建可信 AI 应用,从而为客户开辟创新之路。”
NVIDIA 的 AI 软件、模型和服务副总裁 Kari Briski 表示:“现如今,企业需要完成生成式 AI 与其现有数据基础设施的无缝整合,以推动商业成果的实现。 通过将 NVIDIA NIM 微服务融入 Cloudera 的 AI Inference 平台,我们助力开发者轻松打造值得信赖的生成式 AI 应用,同时促进形成一个自我维持的 AI 数据良性循环。”
这些新功能将在 10 月 10 日举行的 Cloudera 顶级 AI 与数据会议 Cloudera EVOLVE NY 上盛大揭幕。 点击此处,深入了解这些最新更新如何进一步夯实 Cloudera 的承诺,借助 GenAI 将企业数据从试点阶段顺利提升至生产环境。
关于 Cloudera
Cloudera 是唯一真正的混合数据、分析和人工智能平台。 Cloudera 管理的数据量比其他仅提供云服务的供应商高出 100 倍,这一优势使其能够助力全球企业在公共云或私有云上转化各类数据,从而获得有价值且值得信赖的洞见。 我们的开放数据湖仓提供可扩展且安全的数据管理,并结合便携式云原生分析,帮助客户将 GenAI 模型直接应用于其数据,同时维护数据隐私,确保 AI 部署的责任性和可靠性。 全球规模最大的金融服务、保险、媒体、制造业和政府品牌都依托 Cloudera,利用其强大的数据能力,破解曾被视为无法解决的难题——无论当下还是未来。
如需了解更多信息,请访问 Cloudera.com,并在 LinkedIn 和 X 上关注我们。Cloudera 及相关标识为 Cloudera, Inc 的商标或注册商标。所有其他公司和产品名称可能是其各自所有者的商标。
联系人
Jess Hohn-Cabana
cloudera@v2comms.com
- Smart Chain引领我们通往未来数字世界
- 文化中国行 | (书画篇)走进艺术家:汪天寿
- Tuna Vessels Using Forced Labor are Hiding Under MSC Ecolabel, New Research Finds
- 望京之星|高效交通圈 赋能企业快速发展
- Deriv Celebrates 25th Anniversary with “UK's Best Workplaces in Financial Services & Insura
- 第二届中国智能防风帘产业高质量发展峰会成功举办
- 全球买家齐聚高交会 高新企业蓄势腾飞
- 昆明三一一医院是私立医院吗 专业规范的医疗服务体验
- 中国积极拥抱可持续创新,使其在培养肉产业具全球领先地位
- 呼吸道传染病(新冠、流感)混合高发,该如何选药?
- 5G 扬帆新质跃,技术蝶变开新篇-第七届“绽放杯”5G应用征集大赛 5G应用融合技术专题赛圆满收官
- 千年风华,保定印象丨芝华仕5星床垫:5星睡眠,美好生活「保定站」盛大开启!
- Accruent Acquisition of RedEye to Accelerate Strategy with Next-Generation Engineering Document Mana
- 解读OR Café Amazon 22年建立声誉的成就:从山顶咖啡豆到全球最受欢迎咖啡杯,提升整个价值链。
- Enercap Holdings与Apex Investments合资建设全球最大容量的超级电容储能,以满足爆炸式增长的需求
- 圆梦欧洲杯 | 比亚迪助力“足球少年 一路向前”誓师出征
- 笔墨蕴情·艺德纯真——书法名家魏廷邦百家媒体聚焦报道
- Mutual Benefit Group 在 Formation '24 上荣获 Duck Creek 卓越标准客户奖
- 伊诺保险进军全球市场 代理招募同步启动
- 人民艺术家、国家一级美术师孙长英
- 中信银行香港分行正式开业
- 九亿科技多空矩阵量化系统:引领金融市场的智能交易新纪元
- Fujirebio为Lumipulse® G pTau 217/β-淀粉样蛋白1-42血浆比值体外诊断测试提交FDA监管文件,该测试有助于识别与阿尔茨海默病相关的淀粉样蛋白病变患者
- 专访戴森工程师胡宏飞:以原创设计引领未来生活
- WS WhatsApp营销利器,你用过了吗?快来分享你的使用心得给大家听听
- 爱达邮轮携手上海电信成功测试爱达·魔都号5G网络漫游,开启海上通信新体验
- DigiAsia Corp. and Jalin, Indonesia's Largest ATM Network Servicer, Announce Strategic Collabor
- 第34个全国助残日丨成都仁品耳聋病友会圆满落幕,科技助听帮助听障患者“重启人生”!
- “潮玩开运好物”迎新年,开启福气满满的2024!
- 临商银行成都路支行举办实物贵金属业务营销培训
推荐
- 一个“江浙沪人家的孩子已经不卷学习了”的新闻引发议论纷纷 星标★ 来源:桌子的生活观(ID:zzdshg) 没 资讯
- 看新东方创始人俞敏洪如何回应董宇辉新号分流的? (来源:中国证券报) 东方甄选净利润大幅下滑 资讯
- 新增供热能力3200万平方米 新疆最大热电联产项目开工 昨天(26日),新疆最大的热电联产项目—&md 资讯
- 抖音直播“新红人”进攻本地生活领域 不难看出,抖音本地生活正借由直播向本地生活 资讯
- 奥运冠军刘翔更新社交账号晒出近照 时隔473天更新动态! 2月20日凌晨2点,奥运冠军刘翔更新社交账号晒 资讯
- 男子“机闹”后航班取消,同机旅客准备集体起诉 1月4日,一男子大闹飞机致航班取消的新闻登上 资讯
- 国足13次出战亚洲杯首次小组赛0进球 北京时间1月23日消息,2023亚洲杯小组 资讯
- 中国减排方案比西方更有优势 如今,人为造成的全球变暖是每个人都关注的问 资讯
- 大家一起关注新疆乌什7.1级地震救援见闻 看到热气腾腾的抓饭马上就要出锅、村里大家 资讯
- 王自如被强制执行3383万 据中国执行信息公开网消息,近期,王自如新增一 资讯