OCI的Generative AI Service

数据运维 2024-06-14 共饮一杯手机阅读

OCI（Oracle Cloud Infrastructure）提供的Generative AI Service是完全管理的服务，提供一组可定制的LLM、用户可以通过一个API构建生成式AI应用程序。用户可以选择来自Meta和Cohere的预训练基础模型，通过微调等方式创建自己的数据集，并将其托管在专用的GPU AI集群。Generative AI Service用于大规模地理解、生成和处理人类语言。例如，生成文本、摘要、数据提取、分类、对话等等。

OCI的Generative AI Service-1

图片来自Oracle官网

预训练的模型分为三类，文本生成、文本摘要，及嵌入。

文本生成类的模型包含cohere的command、command-light和llama 2-70b-chat，用于生成文本和指令跟随。

command：高性能、指令跟随的会话模型。模型的参数为52B，上下文窗口（模型处理文本时能够考虑的前文的范围）为4096标记（token，模型可以理解和生成的最小意义单位）
command-light：command的小型、快速版本。模型的参数为6B，上下文窗口为4096标记（token）。
llama 2-70b-chat：高性能的开源模型，针对会话方式进行优化。模型参数为70B，上下文窗口为4096标记（token）。

生成模型的参数包括：

Maximum Output token：模型对于每个应答生成的最大标记（token）数量。
Temperature：决定模型具有多大的创造性。数值越小越具有确定性和准确性，数值越大越具有创造性。
Top p、Top k：两种选择词汇的分布方法，排名前p/排名和为k。
Presence/Frequency Penalty：当一个标记（token）频繁出现并且产生较少重复的文本时，分配一个惩罚。
Show Likelihoods：确定标记（token）跟随当前生成的标记（token）的可能性有多大。

文本摘要类模型包括cohere的command，用于将文本汇总为用户指定的格式、长度，及语气。

生成原始文本的简洁版本，传达最重要的信息。
与预训练的文本生成模型相同，但是用户可以为文本摘要指定的参数。

摘要类模型参数包括：

Temperature：决定模型具有多大的创造性。默认值为1，最大值为5。
Length：摘要的近似长度，参数值包括，Short， Medium，Long。
Format：摘要显示为自由段落与序号列表格式。
Extractiveness：输入的重用程度。值越高越倾向于逐字重复使用句子。

嵌入模型包含cohere的embed-english-v3.0， embed-multilingual-v3.0， embed-english-light-v3.0， embed-multilingual-light-v3.0，及embed-english-light-v2.0，用于将文本转换为向量嵌入，进行语义检索。