英特尔发布了OpenVINO 2023.2,作为其用于优化和部署人工智能推理的开源工具包的最新版本。OpenVINO继续不懈地追求深度学习性能和效率的最大化,同时继续扩展其模型支持和功能。
随着OpenVINO 2023.2的发布,他们在生成人工智能的覆盖和集成方面不断扩大。新版本可以处理聊天机器人、指令跟踪、代码生成等使用的模型。现在支持的模型包括LLaVA、chatGLM、Bark和LCM。PyTorch模型以及拥抱脸模型也得到了改进。
OpenVINO 2023.2还通过Int8模型权重压缩加速了大型语言模型(LLM)的推理,扩展了对动态形状的模型支持以获得更好的英特尔GPU性能,在英特尔CPU和GPU上预览支持Int4模型格式,以及其他LLM支持进步。
OpenVINO 2023.2版本现在也可以通过Conan软件包管理器获得,并通过启用FP16模型格式支持,提高了在ARM处理器上运行OpenVINO的性能。
关于OpenVINO 2023.2版本的下载和更多详细信息,请访问
GitHub
.