DeepSeek 发布全球最强开源 MoE 模型

2024年 5月 8日 67.1k 0

幻方量化旗下组织深度求索发布了第二代开源 MoE 模型:DeepSeek-V2。

DeepSeek 发布全球最强开源 MoE 模型-1

据介绍,在目前大模型主流榜单中,DeepSeek-V2均表现出色:

  • 中文综合能力(AlignBench)开源模型中最强,与GPT-4-Turbo,文心4.0等闭源模型在评测中处于同一梯队

  • 英文综合能力(MT-Bench)与最强的开源模型LLaMA3-70B同处第一梯队,超过最强MoE开源模型Mixtral 8x22B

  • 知识、数学、推理、编程等榜单结果也位居前列

  • 支持128K上下文窗口

DeepSeek 发布全球最强开源 MoE 模型-2

各大模型API或Chat版本效果对比

此外,DeepSeek-V2 在模型架构也进行创新,采用了自研的 MLA(Multi-head Latent Attention)和 Sparse 结构,可大幅减少模型计算量、推理显存。

价格方面,DeepSeek-V2 API的定价为:每百万tokens输入1元、输出2元(32K上下文),价格为GPT-4-Turbo的近百分之一。

DeepSeek 发布全球最强开源 MoE 模型-1

各大模型API价格对比

就中文能力来看,DeepSeek-V2在全球模型中处于第一档的位置,但其成本却是最低的(下图)。

DeepSeek 发布全球最强开源 MoE 模型-4

横轴为每百万输入/输出Tokens平均单价

模型&论文双开源

DeepSeek-V2模型和论文完全开源,免费商用,无需申请:

模型权重:

https://huggingface.co/deepseek-ai

技术报告:

https://github.com/deepseek-ai/DeepSeek-V2/blob/main/deepseek-v2-tech-report.pdf

相关文章

塑造我成为 CTO 之路的“秘诀”
“人工智能教母”的公司估值达 10 亿美金
教授吐槽:985 高校成高级蓝翔!研究生基本废了,只为房子、票子……
Windows 蓝屏中断提醒开发者:Rust 比 C/C++ 更好
Claude 3.5 Sonnet 在伽利略幻觉指数中名列前茅
上海新增 11 款已完成登记生成式 AI 服务

发布评论