软件技术通过使用固态硬盘提高了RAG工作流程中矢量数据库的扩展性和准确性

东京--(美国商业资讯)--世界领先的内存解决方案提供商Kioxia Corporation今天宣布开源发布其新的全存储ANNS乘积量化 （AiSAQ）技术(1)。KIOXIA AiSAQ™软件采用针对固态硬盘优化的新型“近似最近邻”搜索（ANNS）算法，可为检索增强生成（RAG）提供可扩展的性能，并且无需将索引数据放在DRAM中，而是直接在固态硬盘上进行搜索。

生成式人工智能系统需要大量的计算、内存和存储资源。虽然人工智能系统有可能推动各行各业实现变革性突破，但其部署往往需要高昂的成本。RAG是人工智能的一个关键阶段，它利用公司或应用的特定数据完善大型语言模型（LLM）。

RAG的核心组件是一个向量数据库，它能将特定数据累积并转换成数据库中的特征向量。RAG还采用了ANNS算法，该算法可根据累积向量和目标向量之间的相似性，识别出能改进模型的向量。为使RAG有效，它必须快速检索与查询最相关的信息。ANNS算法以往是部署在DRAM中，以实现这些搜索所需的高速性能。

KIOXIA AiSAQ技术可为十亿规模的数据集提供可扩展的高效ANNS解决方案，内存使用量可忽略不计，并具有快速索引切换功能。

KIOXIA AiSAQ技术的主要优势：

  • 允许大型数据库在不依赖有限DRAM资源的情况下运行，从而提高RAG系统的性能。
  • 无需将索引数据加载到DRAM中，从而可立即启动矢量数据库。这支持在同一服务器上的用户特定数据库或应用特定数据库之间进行无缝切换，从而高效交付RAG服务。
  • 通过将索引存储在可在多台服务器之间共享的分解式存储中，对云系统进行了优化。这种方法可针对特定用户或应用程序动态调整矢量数据库搜索性能，并有助于在物理服务器之间快速迁移搜索实例。

Kioxia将其创新KIOXIA AiSAQ技术作为开源软件提供给社区，以此表明该公司对推动人工智能发展的承诺。

注
(1) 请点击链接查看KIOXIA AiSAQ的开源版本。
https://github.com/kioxiaamerica/aisaq-diskann

*公司名称、产品名称和服务名称可能是第三方公司的商标。

关于Kioxia
Kioxia是全球领先的存储器解决方案供应商，致力于开发、生产和销售闪存和固态硬盘（SSD）。2017年4月，其前身Toshiba Memory从1987年发明NAND闪存的Toshiba Corporation中分拆出来。Kioxia致力于用“记忆”改善世界，提供产品、服务和系统，为客户创造选择，为社会创造基于记忆的价值。Kioxia的创新3D闪存技术BiCS FLASH™ 正在塑造高密度应用的存储未来，包括先进的智能手机、个人电脑、汽车系统、数据中心和生成式人工智能系统。

*本文档中的信息，包括产品价格和规格、服务内容和联系信息，在公告日期是正确的，但如有变更恕不另行通知。