反向工程的NPU驱动程序非常接近专有驱动程序的性能

2024年 2月 26日 58.7k 0


当谈到用于Linux的神经处理单元NPU/AI加速器时,有一些开源选择,最著名的是英特尔拥有的哈瓦那实验室,英特尔在Meteor Lake SoC中发现的用于NPU的iVPU驱动程序,AMD最近发布的Ryzen AI Linux驱动程序等等。EtNavivProject已经将其范围从仅限于Vivante图形IP扩展到还包括Vivante NPU IP,以运行TensorFlow Lite等工作负载。凭借最新的开源成就,EtNaviv NPU的性能正在难以置信地接近专有和官方驱动程序。

Tomeu Vizoso与Collabora继续在EtNaviv NPU开源驱动程序启用方面领先。他有为MESA 24.1合并了新的特氟龙框架将MESA的范围扩大到NPU。在覆盖了所有初始碱基之后,已经转向进一步提升性能以使其与专有司机的性能相竞争。

在一篇新的博客文章中,他概述了由于更多的卷积和启用图像缓存,使开源驱动程序的性能更快。

为了比较EtNaviv驱动程序的进展,最后是专有驱动程序的性能,Vizoso分享了以下图表:

他还在他最新的博客文章:

“在这一点上,我非常有信心,我们可以在不做太多额外工作的情况下,相当接近专有驱动程序的性能,因为仍有一些主要的性能特性需要实现,我知道我仍然需要对以前的一些性能工作进行调整。

但在完成输入张量缓存之后,在我进行任何其他改进之前,我认为我会投入一些时间来添加一些分析工具,这样我就可以更好地指导工作并获得最佳回报。

Another nice achievement for Mesa and the broader open-source world.

相关文章

塑造我成为 CTO 之路的“秘诀”
“人工智能教母”的公司估值达 10 亿美金
教授吐槽:985 高校成高级蓝翔!研究生基本废了,只为房子、票子……
Windows 蓝屏中断提醒开发者:Rust 比 C/C++ 更好
Claude 3.5 Sonnet 在伽利略幻觉指数中名列前茅
上海新增 11 款已完成登记生成式 AI 服务

发布评论