英特尔已将其NPU加速库(intel-npu-acceleration-库)开源,作为Windows和Linux系统的用户空间库,用于与其新款Meteor Lake笔记本电脑上最初发现的神经处理单元(NPU)进行接口。
英特尔长期以来一直在开发IVPULinux内核驱动程序,位于内核的上游,用于支持从Meteor Lake开始的Intel NPU(以前称为VPU)。这个NPU加速库是一个利用NPU潜力的便捷的Python库。
英特尔神经处理单元库支持8位量化、Float16支持、Torch.Compile支持、静态形状推理和其他功能。NPU加速库可以从GitHub下载,也可以通过PIP方便地安装。
英特尔NPU加速库GitHub页面有显示NPU上的单个矩阵乘法、为NPU编译模型、甚至在NPU上运行Tiny-Llama模型的Python代码示例。这个V1.0版本 marks the initial stable release for this library that will become increasingly more important in the AI era and as the NPUs work their way into more Intel processors.