大模型的发展已经进入了万亿级参数时代。DeepMind联合创始人穆斯塔法·苏莱曼（Mustafa Suleyman）预测， 仅在未来三年内，大模型规模以惊人的速度继续扩张，将增长1000倍。 一方面，模型的参数量与其能够处理和学习的复杂性直接相关。模型容量越大，往往意味着性能越好。随着模型容量增加到数万亿个参数，大模型可以捕捉更复杂的模式，从而在自然语言处理、计算机视觉和其他任务上表现更好，具备更

上一篇提示工程Prompt Engineering中介绍了提示，提示只是更改了LLM的输入，提示对于词汇的分布非常敏感，一个小的提示变化可能会对词汇的分布产生很大的变化。由于模型的参数是固定的，通过单独使用提示，我们可以更改模型在词汇上的分布程度，但当我们希望在一个全新领域使用一个在其他领域上训练的模型时，仅使用提示无法满足我们的要求。与提示相反，在训练的过程中，我们实际上要修改模型的参数。可以简

苹果公司开源了一个用于训练深度神经网络的库 CoreNet。允许研究人员和工程师训练标准和新型的小型和大型模型，以完成各种任务，包括基础模型（如 CLIP 和 LLM）、对象分类、对象检测和语义分割。 目前，苹果公司已经利用 CoreNet 开展了以下研究工作： OpenELM：具有开源训练和推理框架的高效语言模型系列 CatLIP：在 Web-scale Image-Text DataCLIP

近日，华为AI4SCI Lab联合北京大学北京国际数学研究中心教授、北京大学国际机器学习研究中心副主任董彬教授团队，在昇腾AI处理器的强大算力支持下，基于全场景AI框架昇思MindSpore推出了一维含时偏微分方程通用模型PDEformer-1。该成果在昇思人工智能框架峰会2024上首次发布亮相。 在包含三百万条不同形式的一维偏微分方程（PDE）数据的广泛预训练后，PDEformer-1模型在训练