训练

万亿参数时代:大模型与小模型的竞合之路

大模型的发展已经进入了万亿级参数时代。DeepMind联合创始人穆斯塔法·苏莱曼(Mustafa Suleyman)预测, 仅在未来三年内,大模型规模以惊人的速度继续扩张,将增长1…

模型训练

上一篇提示工程Prompt Engineering中介绍了提示,提示只是更改了LLM的输入,提示对于词汇的分布非常敏感,一个小的提示变化可能会对词汇的分布产生很大的变化。由于模型的…

苹果开源 CoreNet:一个用于训练深度神经网络的库

苹果公司开源了一个用于训练深度神经网络的库 CoreNet。允许研究人员和工程师训练标准和新型的小型和大型模型,以完成各种任务,包括基础模型(如 CLIP 和 LLM)、对象分类、…

任意 PDE 的秒级求解?昇思 MindSpore 最新成果 PDEformer1 迎来开源!

近日,华为AI4SCI Lab联合北京大学北京国际数学研究中心教授、北京大学国际机器学习研究中心副主任董彬教授团队,在昇腾AI处理器的强大算力支持下,基于全场景AI框架昇思Mind…