StarCoder2 :ServiceNow、Hugging Face 和 NVIDIA 为开发者发布新的开放式 LLM

2024年 3月 9日 41.9k 0

导读:开发者们的新福音,StarCode2发布了。

ServiceNow、Hugging Face 和 NVIDIA 联手发布了一个名为 StarCoder2 的新开放 LLM 系列,专为开发者设计。

以下网址所抓图,可以看到使用众多,技术专家,程序大牛们纷纷来测试使用。

官网地址:https://huggingface.co/bigcode

StarCoder2 已经接受过 619 门编程语言训练,旨在为开发者提供代码生成、工作流生成和文本摘要等功能。

三家公司预计, StarCoder2 模型将对软件工程师、开发者以及普通公民都有很大的裨益。

StarCoder2 是在 BigCode 社区( bigcode-project.org)内开发的,该社区是一个致力于负责任地开发 LLM 的小组。该项目由 ServiceNow 和 Hugging Face 共同管理。

相比于上一代StarCoder模型,StarCoder2用30亿参数模型就实现了初版150亿参数模型的性能。

StarCoder 2 分别对应三种不同的模型尺寸:

  • ServiceNow 训练了一个 30 亿个参数的模型;
  • Hugging Face 训练了一个 70 亿个参数的模型;
  • NVIDIA 训练了一个 150 亿个参数的模型。
  • 较小的型号旨在提供强大的性能,同时使用少量的计算能力。30 亿参数模型与原始 StarCoder 版本的 150 亿参数模型的性能相匹配。

    用户将能够使用 NVIDIA NeMo 或 Hugging Face TRL 等开源工具微调这些模型以满足自己的特定的需求。

    ServiceNow 的 StarCoder2 开发团队负责人兼 BigCode 联合负责人 Harm de Vries 这样表示:

    “StarCoder2 证明了开放科学合作和负责任的 AI 实践与道德数据供应链的综合力量。最先进的开放获取模型改进了先前的生成式 AI 性能,以提高开发人员的生产力,并为开发人员提供平等的机会获得代码生成 AI 的好处,这反过来又使任何规模的组织都能更轻松地发挥其全部业务潜力。”

    Hugging Face的机器学习工程师兼BigCode的联合负责人Leandro von Werra也补充,我们节选一部分。他这样说道:

    “由Hugging Face、ServiceNow和NVIDIA领导的共同努力,使强大的基础模型得以发布,使社区能够更有效地构建各种应用程序,并提供完整的数据和训练透明度。

    StarCoder2 证明了开源和开放科学的潜力,因为我们正在努力使负责任的 AI 民主化。”

    此外,StarCoder2 系列模型采用BigCode Open RAIL-M许可证,允许开发者免费访问和使用。

    祝大家编码效率更快捷~

    相关文章

    塑造我成为 CTO 之路的“秘诀”
    “人工智能教母”的公司估值达 10 亿美金
    教授吐槽:985 高校成高级蓝翔!研究生基本废了,只为房子、票子……
    Windows 蓝屏中断提醒开发者:Rust 比 C/C++ 更好
    Claude 3.5 Sonnet 在伽利略幻觉指数中名列前茅
    上海新增 11 款已完成登记生成式 AI 服务

    发布评论