OCI Generative AI 服务正式发布
随着 AI 策略的进展,Oracle 宣布正式推出 OCI Generative AI 服务,这是一个能够将 LLM 无缝集成到各种企业用例中的托管服务。
OCI Generative AI 服务现在支持 Meta 的 Llama 2 和 Cohere 的模型,并包含了 100 多种语言的多语言嵌入功能。Oracle 还做出了一些改进,让您能够更轻松地结合使用 LLM 与 LangChain 集成、端点管理和内容审核等功能。
OCI Generative AI 也包含了经过优化的 GPU 集群管理体验,包括为主机集群提供多端点支持,支持通过扩展集群处理更多模型请求,以及提供端点分析。
OCI Generative AI 服务现在还支持企业对 Cohere 的 Command 52/6B 模型进行灵活微调,让企业可以有信心地确保他们的 AI 适应了特定业务环境。
借助 OCI Generative AI 服务,客户可以处理各种用例,包括:
-
客户运营:根据客户的产品套件、体验和语言实现自动化客户服务。
-
市场营销:基于买家档案和使用历史记录,大规模进行个性化搜索、推广和客户培养。
-
销售:构建虚拟销售代表,引导潜在客户认识产品和下单。
-
风险和法务:在多语言支持下基于现有优秀实践,加快合同编写和起草流程。
-
策略和财务:通过公共和私有信息来源,大规模监视竞争对手和客户动态。
OCI Generative AI Agents(测试版)
我们推出了 OCI Generative AI Agents 服务的测试版。Agent 主要负责将用户查询转换为任务,由 Generative AI 组件(搜索工具、文档语料库、LLM、响应生成等)执行并响应。OCI Generative AI Agents 系列中首个亮相的是检索增强生成 (RAG) Agent。RAG Agent 可通过 OCI OpenSearch 查询内部数据,弥补 LLM 通用知识的不足,进而提供符合情境的答案。现在,用户可以使用自然语言透明地访问各种企业数据集,无需掌握专业知识,也无需知道数据的格式或存储位置。
举个例子,当终端用户要求 AI Agent 汇总与请病假相关的人力资源政策时,查询会向模型发出指令,以便在内部文档库中搜索相关政策。然后,该模型使用 RAG 功能提取相关段落,基于这些信息生成人类语言响应,并附上相关源文档的超链接。然后,AI Agent 将以自然语言向最终用户提供响应结果。用户可以针对相关政策继续进行提问,AI Agent 也会继续根据对话情境回答问题,提供准确且类人的体验。在该服务的未来迭代中,终端用户将能够提示 AI Agent 采取进一步操作,例如编辑原始文档或进行 HR 系统更新。
OCI Generative AI Agents 的初始测试版支持 OpenSearch 访问内部企业数据,未来即将推出的其它版本将支持更多 LLM,并支持通过 AI Vector Search 访问 Oracle Database 23c 以及通过 Vector Store 访问 MySQL HeatWave。如此一来,用户可以构建能够自动与 Oracle 和第三方应用交互的 Agent,并指导 Agent 根据查询结果采取行动。
OCI Data Science AI Quick Actions 特性
OCI Data Science AI Quick Actions 是 OCI Data Science 服务的一个无代码功能,支持用户访问各种开源 LLM,包括 Meta、Mistral AI 等。在正式发行版中,这个功能以预计将提供更广泛的开源 LLM 选项以供访问。
OCI Data Science Quick Actions 让用户可以访问一系列的精选模型,并使用自己的数据进行微调、评估和部署。同时,该功能还包含了一个完整的生态系统,其中包括用户友好的工作流、集成的遥测和可视化功能以及简化的执行流程。
在正式发行版中,AI Quick Actions 将为您提供:
-
验证和环境预检查
-
精选预测试模型列表,包括 LLM
-
多个精选部署方案
-
模型搜索和筛选功能,可灵活选择符合客户需求的模型
-
只需点击几下即可执行微调任务的界面,提供指导步骤
-
可以直接从控制台执行的微调监视任务
-
用于快速测试已部署模型的练习区功能