英特尔今天发布了他们的开源OpenVINO 2024.0工具包，用于在一系列硬件上优化和部署人工智能推理。
OpenVINO是英特尔出色的开源AI工具包，不仅可以加速x86_64 CPU，还可以加速ARM CPU和其他架构、英特尔集成和独立显卡等的AI推理，包括他们最近的NPU插件，用于利用新的Core Ultra“Meteor Lake”SoC中的英特尔神经处理单元。
随着今天的OpenVINO 2024.0版本，有更多的生成AI“GenAI”关注与更好的开箱即用体验TensorFlow句子编码模型，支持混合专家(MOE)，一个用于无缝访问OpenVINO API的JAVASCRIPT API，和验证的模型，为米斯特拉尔和更多。
OpenVINO 2024.0还为LLM带来了INT4重量压缩的改进质量，增强了英特尔CPU上的LLM性能，更轻松地优化和转换拥抱脸模型，以及其他拥抱脸集成改进。
OpenVINO 2024.0确实停止了英特尔之前的高斯和神经加速器(英特尔GNA)，现在专注于与流星湖及更高版本一起发现的NPU。用于OpenVINO的英特尔NPU插件现在也作为主OpenVINO包的一部分在PyPI上分发。对于非英特尔用户，OpenVINO 2024.0也有更好的ARM处理器性能和各种平台改进。
有关今天的OpenVINO 2024.0功能版本的下载和更多详细信息，请访问GitHub。我会有一些新的OpenVINO基准测试 soon.
