英特尔用更大的语言模型优化更新PyTorch构建

2024年 5月 10日 63.7k 0

英特尔用更大的语言模型优化更新PyTorch构建-1英特尔发布了“英特尔PyTorch v2.3扩展”,以继承早期v2.1衍生的扩展。随着这一针对PyTorch 2.3的更新扩展,英特尔正在围绕大型语言模型(LLM)推出更多优化。

“英特尔PyTorch扩展”仍然是英特尔优化的下游软件,可通过PyTorch框架最大限度地提高英特尔CPU性能。“英特尔PyTorch扩展”附带了更多AVX-512 VNNI优化、英特尔AMX支持、英特尔XMX对英特尔dGPU的支持,以及其他改进,可最大限度地增强英特尔硬件上的PyTorch功能。

随着v2.3的扩展,出现了新的大型语言模型优化功能,该功能名为LLM优化API,用于对常用LLM进行模块级优化,更新捆绑的Intel oneDNN神经网络库,添加TorchServer CPU示例、其他LLM性能优化,以及改进的警告和日志记录信息。

英特尔用更大的语言模型优化更新PyTorch构建-2

Those making use of PyTorch on Intel platforms can find the updated open-source extension on GitHub.

相关文章

塑造我成为 CTO 之路的“秘诀”
“人工智能教母”的公司估值达 10 亿美金
教授吐槽:985 高校成高级蓝翔!研究生基本废了,只为房子、票子……
Windows 蓝屏中断提醒开发者:Rust 比 C/C++ 更好
Claude 3.5 Sonnet 在伽利略幻觉指数中名列前茅
上海新增 11 款已完成登记生成式 AI 服务

发布评论