英特尔将开源作为其Python NPU加速库

2024年 3月 2日 64.5k 0


英特尔已将其NPU加速库(intel-npu-acceleration-库)开源,作为Windows和Linux系统的用户空间库,用于与其新款Meteor Lake笔记本电脑上最初发现的神经处理单元(NPU)进行接口。

英特尔长期以来一直在开发IVPULinux内核驱动程序,位于内核的上游,用于支持从Meteor Lake开始的Intel NPU(以前称为VPU)。这个NPU加速库是一个利用NPU潜力的便捷的Python库。

英特尔神经处理单元库支持8位量化、Float16支持、Torch.Compile支持、静态形状推理和其他功能。NPU加速库可以从GitHub下载,也可以通过PIP方便地安装。

英特尔NPU加速库GitHub页面有显示NPU上的单个矩阵乘法、为NPU编译模型、甚至在NPU上运行Tiny-Llama模型的Python代码示例。这个V1.0版本 marks the initial stable release for this library that will become increasingly more important in the AI era and as the NPUs work their way into more Intel processors.

相关文章

塑造我成为 CTO 之路的“秘诀”
“人工智能教母”的公司估值达 10 亿美金
教授吐槽:985 高校成高级蓝翔!研究生基本废了,只为房子、票子……
Windows 蓝屏中断提醒开发者:Rust 比 C/C++ 更好
Claude 3.5 Sonnet 在伽利略幻觉指数中名列前茅
上海新增 11 款已完成登记生成式 AI 服务

发布评论