面壁智能近日发布开源大模型 Eurux-8x22B,包括Eurux-8x22B-NCA 与Eurux-8x22B-KTO,主打推理能力。
官方介绍道:
相比口碑之作 Llama3-70B,Eurux-8x22B 发布时间更早,综合性能相当,尤其是拥有更强的推理性能——刷新开源大模型推理性能 SOTA,堪称开源大模型中「理科状元」。
Eurux-8x22B 在 LeetCode(180 道 LeetCode 编程真题)与 TheoremQA 测试上超越了 Llama3-70B,在 LeetCode 测试上超越闭源的 GPT-3.5-Turbo。
据介绍,Eurux-8x22B 模型激活参数 39B,支持 64k 上下文,是由 Mixtral-8x22B 模型对齐而来,在 UltraInteract 对齐数据集上训练而成。
Eurux-8x22B模型+对齐数据集均已开源:
- Eurux-8x22B模型GitHub地址:https://github.com/OpenBMB/Eurus
- Eurux-8x22B模型HuggingFace地址:https://huggingface.co/openbmb/Eurux-8x22b-nca