针对旗下“零一万物” 开源的 Yi 大模型近日被质疑照搬 Llama 架构,只对两个张量(Tensor)名称做了修改的风波,李开复在朋友圈转发了“零一万物对 Yi-34B 训练过程的说明”文章,并配文回应称:
零一万物 Yi-34B 模型训练的说明也回应这两天大家对于模型架构的探讨。全球大模型架构一路从 GPT2-->Gopher-->Chinchilla-->Llama2->Yi,行业逐渐形成大模型的通用标准(就像做一个手机 app 开发者不会去自创 iOS、Android 以外的全新基础架构)。01.AI 起步受益于开源,也贡献开源,从社区中虚心学习,我们会持续进步。
相关阅读:
- 李开复旗下 AI 公司 “零一万物” 开源的 Yi 大模型照搬 Llama 架构
- “零一万物” 回应 Yi 开源大模型 “套壳” Llama
-
零一万物对 Yi-34B 训练过程的说明