幻方发布全球最强MOE大模型！ DeepSeekV2

1. 介绍

今天，我们介绍了DeepSeek-V2，这是一个强大的专家混合（MoE）语言模型，其特点是训练经济且推理高效。它总共包含236B个参数，每个token激活21B个。与DeepSeek 67B相比，DeepSeek-V2实现了更强的性能，同时节省了42.5%的训练成本，减少了93.3%的KV缓存，并将最大生成吞吐量提高了5.76倍。

图片

图片

我们在包含8.1万亿token的多样化和高质量语料库上预训练了DeepSeek-V2。随后，我们通过监督式微调（SFT）和强化学习（RL）的过程来充分释放模型的潜力。评估结果验证了我们方法的有效性，因为DeepSeek-V2在标准基准测试和开放式生成评估上都取得了显著的性能。

2. 模型下载

由于HuggingFace的限制，当前开源代码在GPU上运行时的性能比我们内部代码库慢。为了促进我们模型的有效执行，我们提供了一个专门的vllm解决方案，该解决方案优化了我们模型的运行性能。

3. 评估结果

基础模型

在Needle In A Haystack (NIAH)测试中，DeepSeek-V2在所有上下文窗口长度上表现良好，直到128K。

图片

chat模型

我们在AlpacaEval 2.0和MTBench上评估了我们的模型，展示了DeepSeek-V2-Chat-RL在英语对话生成上的竞争力。

图片

Chinese Open Ended Generation Evaluation

编码基准测试

我们在LiveCodeBench (0901-0401)上评估了我们的模型，这是一个为实时编码挑战设计的基准测试。如图所示，DeepSeek-V2在LiveCodeBench上展示了相当的熟练程度，其Pass@1得分超过了其他几个复杂的模型。这一性能突出了模型在处理实时编码任务方面的有效性。

图片

4. 模型架构

DeepSeek-V2采用创新的架构以保证训练经济和推理高效：

• 对于注意力机制，我们设计了IEAttn，它使用低秩键值联合压缩来消除推理时键值缓存的瓶颈，从而支持高效推理。
• 对于前馈网络（FFNs），我们采用了DeepSeekMoE架构，这是一种高性能的MoE架构，使我们能够以更低的成本训练更强的模型。

图片

5. 聊天网站

你可以在DeepSeek的官方网站上与DeepSeek-V2进行聊天：chat.deepseek.com

6. API平台

我们还提供与OpenAI兼容的API，可以在DeepSeek平台上使用：platform.deepseek.com。注册即可获得数百万免费token。你也可以按使用量付费，享受无与伦比的价格。

图片

7. 如何本地运行

要使用BF16格式的DeepSeek-V2进行推理，需要80GB*8的GPU。

使用Huggingface的Transformers进行推理

你可以直接使用Huggingface的Transformers进行模型推理。

文本补全

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig

model_name = "deepseek-ai/DeepSeek-V2"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
# `max_memory` 应根据你的设备设置
max_memory = {i: "75GB" for i in range(8)}
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True, device_map="auto", torch_dtype=torch.bfloat16, max_memory=max_memory)
model.generation_config = GenerationConfig.from_pretrained(model_name)
model.generation_config.pad_token_id = model.generation_config.eos_token_id

text = "An attention function can be described as mapping a query and a set of key-value pairs to an output, where the query, keys, values, and output are all vectors. The output is"
inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs.to(model.device), max_new_tokens=100)

result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)

聊天补全

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig

model_name = "deepseek-ai/DeepSeek-V2-Chat"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
# `max_memory` 应根据你的设备设置
max_memory = {i: "75GB" for i in range(8)}
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True, device_map="auto", torch_dtype=torch.bfloat16, max_memory=max_memory)
model.generation_config = GenerationConfig.from_pretrained(model_name)
model.generation_config.pad_token_id = model.generation_config.eos_token_id

messages = [
    {"role": "user", "content": "Write a piece of quicksort code in C++"}
]
input_tensor = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
outputs = model.generate(input_tensor.to(model.device), max_new_tokens=100)

result = tokenizer.decode(outputs[0][input_tensor.shape[1]:], skip_special_tokens=True)
print(result)

完整的聊天模板可以在huggingface模型仓库中的tokenizer_config.json找到。

一个聊天模板的示例如下：

User: {user_message_1}

Assistant: {assistant_message_1}User: {user_message_2}

Assistant:

你也可以添加一个可选的系统消息：

{system_message}

User: {user_message_1}

Assistant: {assistant_message_1}User: {user_message_2}

Assistant:

8. 许可证

此代码库在MIT许可证下授权。DeepSeek-V2基础/聊天模型的使用受模型许可证的约束。DeepSeek-V2系列（包括基础和聊天）支持商业用途。

9. 引用

@misc{deepseek-v2,
  author = {DeepSeek-AI},
  title  = {DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model},
  year   = {2024},
  note   = {GitHub repository},
  url    = {https://github.com/deepseek-ai/deepseek-v2}
}