英特尔今天发布了OpenVINO 2024.2，这是其开源人工智能工具包的最新版本，用于在一系列人工智能框架和广泛的硬件类型中优化和部署深度学习（A）推理模型。
通过OpenVINO 2024.2，他们继续优化Meta的Llama 3大型语言模型。OpenVINO 2024.2为跨CPU、集成GPU和离散GPU的执行带来了更多的Llama 3优化，以进一步提高性能，同时提高内存使用效率。
OpenVINO 2024.2还增加了对Phi-3-mini AI模型的支持、更广泛的大型语言模型支持、对Intel Atom Processor X系列的支持、对英特尔至强6处理器的预览支持，以及更多AVX2/AVX-512调优。英特尔发现，在利用小批量时，英特尔酷睿CPU上的AVX2和英特尔至强处理器的AVX-512的FP16重量LLM在第二令牌延迟和内存占用方面有了“显著改善”。
Downloads and more details on the OpenVINO 2024.2 release via GitHub.
