OpenVINO 2023.3全面支持英特尔Emerald Rapids、更广泛的GenAI和AMP;LLMS

2024年 1月 25日 61.8k 0


英特尔工程师周三发布了OpenVINO 2023.3,这是对这个领先的开源人工智能工具包的最新重大更新。OpenVINO 2023.3带来了对新的Emerald Rapids和Meteor Lake处理器的完全支持,其他英特尔硬件支持的改进,并继续扩大对生成式人工智能(GenAI)和大型语言模型(LLM)的支持。

OpenVINO 2023.3推出了OpenVINO Gen AI存储库,用于演示大型语言模型的本地C/C++流水线示例。OpenVINO还验证了其他型号,包括米斯特拉尔、泽菲尔、ChatGLM3等。Compile现在也与OpenVINO完全集成。

为了扩展大型语言模型支持,英特尔至强CPU、英特尔酷睿和英特尔iGPU现在支持INT4权重压缩模型格式。此外,基于变压器的LLM在CPU和GPU上的性能也有所提高,拥抱面孔模型的优化更容易,等等。

OpenVINO 2023.3版本现在还完全支持第五代至强可伸缩“Emerald Rapids”处理器,进一步优化了英特尔酷睿超“流星湖”处理器,提高了ARM平台上的性能,预览版JavaScript API,以及其他改进。

下载和更多有关OpenVINO 2023.3大版本的详细信息,请通过 GitHub.

相关文章

塑造我成为 CTO 之路的“秘诀”
“人工智能教母”的公司估值达 10 亿美金
教授吐槽:985 高校成高级蓝翔!研究生基本废了,只为房子、票子……
Windows 蓝屏中断提醒开发者:Rust 比 C/C++ 更好
Claude 3.5 Sonnet 在伽利略幻觉指数中名列前茅
上海新增 11 款已完成登记生成式 AI 服务

发布评论