大型语言模型LLM

最近在学习OCI的生成式AI相关方面的内容,对相关内容做一下整理,内容涉及LLM基础、LLM架构、提示(Promot)、微调(fine-tuning)、各种模型、OCI的生成式AI、RAG,及向量数据库等等。争取写出一个系列的内容。

什么是LLM?

LLM(Large Language Model)是大型语言模型的缩写,语言模型(LM)是一个文本的概率模型。为了能够简单说明该模型,在这里举一个简单的例子。

例如,“我写信给农场,希望他们送我一个宠物,他们送给我一只()”

括号中的词汇概率如下:

    牛 0.1 羊 0.2 狗 0.3 猫 0.2 马 0.1 猪 0.05 兔子 0.2