The Information 援引内部人士消息称,微软正准备推出一个大型语言模型,其规模足以与谷歌、Anthropic 和 OpenAl 的先进模型相抗衡。
此次发布将标志着微软自斥资 100 多亿美元收购 OpenAI 以来,首次在内部开发如此大规模的人工智能模型。
这一新模型在内部被称为 MAI-1,预计最早将于本月首次亮相。MAI-1 包含 5000 亿个参数,这表明它可以被定位为 GPT-3 和 ChatGPT-4 之间的中端选择。这样的配置可以让模型提供较高的响应精度,但使用的功率却大大低于 OpenAI 的旗舰 LLM。
该项目由 MustafaSuleyman 负责,他是前谷歌 Al 领导人,最近曾担任 Al 初创公司 Inflection 的首席执行官,今年 3 月微软雇用了该公司的大部分员工,并支付了 6.5 亿美元购买其知识产权。报道称,微软可能会使用 Inflection AI 的训练数据和某些其他资产来支持 MAI-1。
有关人士指出,MAI-1 的规模将远远超过微软以前训练过的任何小型开源模型,这意味着它将需要更多的计算能力和训练数据,因此成本也将更高。
在此之前,微软在日前刚推出了一种具有成本效益的小型语言 AI 模型 Phi-3-mini。该公司声称,Pi-3 Mini 拥有 38 亿个参数,性能超过其 10 倍以上的 LLM。