英特尔发布了“英特尔PyTorch v2.3扩展”,以继承早期v2.1衍生的扩展。随着这一针对PyTorch 2.3的更新扩展,英特尔正在围绕大型语言模型(LLM)推出更多优化。
“英特尔PyTorch扩展”仍然是英特尔优化的下游软件,可通过PyTorch框架最大限度地提高英特尔CPU性能。“英特尔PyTorch扩展”附带了更多AVX-512 VNNI优化、英特尔AMX支持、英特尔XMX对英特尔dGPU的支持,以及其他改进,可最大限度地增强英特尔硬件上的PyTorch功能。
随着v2.3的扩展,出现了新的大型语言模型优化功能,该功能名为LLM优化API,用于对常用LLM进行模块级优化,更新捆绑的Intel oneDNN神经网络库,添加TorchServer CPU示例、其他LLM性能优化,以及改进的警告和日志记录信息。
Those making use of PyTorch on Intel platforms can find the updated open-source extension on GitHub.