OpenVINO 2023.2发布,更具新生代人工智能覆盖率&更广泛的LLM支持

2023年 11月 17日 41.7k 0

英特尔发布了OpenVINO 2023.2,作为其用于优化和部署人工智能推理的开源工具包的最新版本。OpenVINO继续不懈地追求深度学习性能和效率的最大化,同时继续扩展其模型支持和功能。

随着OpenVINO 2023.2的发布,他们在生成人工智能的覆盖和集成方面不断扩大。新版本可以处理聊天机器人、指令跟踪、代码生成等使用的模型。现在支持的模型包括LLaVA、chatGLM、Bark和LCM。PyTorch模型以及拥抱脸模型也得到了改进。

OpenVINO 2023.2还通过Int8模型权重压缩加速了大型语言模型(LLM)的推理,扩展了对动态形状的模型支持以获得更好的英特尔GPU性能,在英特尔CPU和GPU上预览支持Int4模型格式,以及其他LLM支持进步。

OpenVINO 2023.2版本现在也可以通过Conan软件包管理器获得,并通过启用FP16模型格式支持,提高了在ARM处理器上运行OpenVINO的性能。

关于OpenVINO 2023.2版本的下载和更多详细信息,请访问
GitHub
.

相关文章

塑造我成为 CTO 之路的“秘诀”
“人工智能教母”的公司估值达 10 亿美金
教授吐槽:985 高校成高级蓝翔!研究生基本废了,只为房子、票子……
Windows 蓝屏中断提醒开发者:Rust 比 C/C++ 更好
Claude 3.5 Sonnet 在伽利略幻觉指数中名列前茅
上海新增 11 款已完成登记生成式 AI 服务

发布评论