Oracle HeatWave 数据库内LLMs有助于降低基础设施成本

Oracle 为以前称为 MySQL HeatWave 的服务添加了新功能，以帮助基于生成式 AI 的应用程序开发。

2024年6月26日，甲骨文为其 Heatwave 数据分析云服务（以前称为 MySQL HeatWave）添加新的以生成式 AI 为中心的功能。

甲骨文公司 HeatWave 高级副总裁 Nipun Agarwal 表示，新名称凸显了 HeatWave 提供的不仅仅是 MySQL 支持，还包括 HeatWave Gen AI、HeatWave Lakehouse 和 HeatWave AutoML。

在 2023 年 9 月的年度 CloudWorld 大会上，甲骨文预览了一系列以生成式 AI 为重点的更新，适用于当时的 MySQL HeatWave。

这些更新包括一个由大型语言模型 （）LLM 驱动的界面，使企业用户能够以自然语言与服务的不同方面进行交互、新的 Vector Store、Heatwave Chat 以及对 HeatWave Lakehouse 的 AutoML 支持。

甲骨文表示，其中一些更新以及其他功能已组合在一起，形成了 HeatWave 内部的 HeatWave Gen AI 产品，并补充说，所有这些功能和特性现在都可以免费使用。

数据库LLM内支持可降低成本

分析师表示，在数据库供应商中，甲骨文首次增加了对LLMs数据库内部的支持。

他们补充说，HeatWave Gen AI 的数据库LLM内支持利用了更小LLMs、参数更少的参数，例如在数据库内运行的 Mistral-7B 和 Meta 的 Llama 3-8B，预计将降低企业的基础设施成本。

“这种方法不仅减少了内存消耗，而且还可以使用CPU而不是GPU，使其具有成本效益，考虑到GPU的成本，至少在短期内，在AMD和Intel赶上Nvidia之前，这将成为一种趋势，”The Futurum Group的研究总监Ron Westfall说。

在数据库内部使用更小LLMs的另一个原因是能够通过微调对模型产生更大的影响，ISG的Ventana Research执行董事David Menninger说。

“对于较小的模型，通过检索增强生成（RAG）技术提供的上下文对结果有更大的影响，”Menninger解释说。

Westfall还举了IBM的Granite模型的例子，称使用较小模型的方法，特别是对于企业用例，正在成为一种趋势。

据甲骨文称，数据库LLMs内将允许企业搜索数据，生成或汇总内容，并使用HeatWave的Vector Store执行RAG。

另外，HeatWave Gen AI 还集成了该公司的 OCI 生成式服务，为企业提供来自LLM提供商的预训练模型和其他基础模型。

更名的向量存储和横向扩展向量处理

在过去的 12 个月里，许多尚未提供专业向量数据库的数据库供应商已经将向量功能添加到他们的产品中，其中包括 MongoDB、DataStax、Pinecone 和 CosmosDB for NoSQL，使客户能够基于存储在这些数据库中的数据构建基于 AI 和生成式 AI 的用例，而无需将数据移动到单独的向量存储或数据库。

Oracle 的 Vector Store 已于 9 月发布，可在摄取数据后自动创建嵌入，以便更快地处理查询。

HeatWave Gen AI 新增的另一项功能是横向扩展矢量处理，这将使 HeatWave 能够支持 VECTOR 作为数据类型，进而帮助企业更快地处理查询。

“简单地说，这就像将RAG添加到标准关系数据库中，”Menninger说。“您将一些文本存储在表格中，并将该文本嵌入为 VECTOR 数据类型。然后，当您查询时，查询的文本将转换为嵌入。将嵌入与表中的嵌入进行比较，距离最短的嵌入最相似。

通过 HeatWave Chat 的图形界面

HeatWave Gen AI 添加的另一项新功能是 HeatWave Chat，它是 MySQL Shell 的可视化代码插件，它为 HeatWave GenAI 提供图形界面，使开发人员能够以自然语言或 SQL 提问。

Menninger说，聊天记录的保留使开发人员更容易迭代地优化搜索结果。

HeatWave Chat 还附带了另一项称为 Lakehouse Navigator 的功能，它允许企业用户从对象存储中选择文件以创建新的矢量存储。

Westfall表示，这种集成旨在增强开发人员和分析师的用户体验和效率，以构建矢量商店。