英特尔工程师周三发布了OpenVINO 2023.3,这是对这个领先的开源人工智能工具包的最新重大更新。OpenVINO 2023.3带来了对新的Emerald Rapids和Meteor Lake处理器的完全支持,其他英特尔硬件支持的改进,并继续扩大对生成式人工智能(GenAI)和大型语言模型(LLM)的支持。
OpenVINO 2023.3推出了OpenVINO Gen AI存储库,用于演示大型语言模型的本地C/C++流水线示例。OpenVINO还验证了其他型号,包括米斯特拉尔、泽菲尔、ChatGLM3等。Compile现在也与OpenVINO完全集成。
为了扩展大型语言模型支持,英特尔至强CPU、英特尔酷睿和英特尔iGPU现在支持INT4权重压缩模型格式。此外,基于变压器的LLM在CPU和GPU上的性能也有所提高,拥抱面孔模型的优化更容易,等等。
OpenVINO 2023.3版本现在还完全支持第五代至强可伸缩“Emerald Rapids”处理器,进一步优化了英特尔酷睿超“流星湖”处理器,提高了ARM平台上的性能,预览版JavaScript API,以及其他改进。
下载和更多有关OpenVINO 2023.3大版本的详细信息,请通过 GitHub.