如何让传统的开发者轻松地转变成AI开发者？在今年 COMPUTERX 2024上，NVIDIA给出了答案。
本周，COMPUTERX 2024正式开幕，NVIDIA面向AI发布了一系列的产品和解决方案。其中，为了帮助传统开发者转变为AI开发者，NVIDIAI推出了一种推理微服务，即NIM。据介绍，借助NVIDIA NIM，全球2800万开发者可以轻松地创建生成式AI。除此之外，NIM还能够帮助企业实现基础设施投资的效果最大化。
何为NVIDIA NIM？
众所周知，生成式AI已经成为人工智能的主要发展趋势。基于生成式AI开发的各种大模型应用，已经成为企业未来创新发展的主要方向。
不过，由于生成式AI应用正在变得越来越复杂，通常需要使用具有不同功能的多个模型来生成文本、图像、视频、语音等，对开发者提出了巨大的挑战。如何帮助开发者快速实现转变？于是，NVIDIA推出了推理微服务——NVIDIA NIM，以一种简单、标准化的方式，将生成式 AI 添加到应用中，显著提高了开发者的工作效率。
据介绍，NVIDIA NIM通过经优化的容器的形式提供模型——以部署在云、数据中心或工作站上。借助 NVIDIA NIM，开发者能够轻松地为 copilots、聊天机器人等构建生成式 AI 应用，所需时间从数周缩短至几分钟。
如何使用NVIDIA NIM？
如何使用NVIDIA NIM也是用户关注的重点。
据了解，从下个月开始，NVIDIA 开发者计划的会员将能够免费使用 NIM 来进行研究和测试。目前，开发者可在 ai.nvidia.com 网站上免费试用 NVIDIA 微服务。企业可通过在 NVIDIA 认证系统和领先的云平台上运行的 NVIDIA AI
Enterprise 来部署生产级 NIM 微服务。
此外，由于NIM 容器是预构建的，以加速模型部署，因此开发者可用于 GPU 加速推理，其中包括 NVIDIA CUDA® 软件、NVIDIA Triton 推理服务器™和 NVIDIA TensorRT™-LLM 软件。
另据介绍，在 ai.nvidia.com 网站上，超过 40 个 NVIDIA 及社区模型可作为 NIM 端点进行体验，其中包括 Databricks DBRX、谷歌开放模型 Gemma、Meta Llama 3、微软 Phi-3、Mistral Large、Mixtral 8x22B 和 Snowflake
Arctic。
开发者现在可以从 Hugging Face AI 平台上，访问 Meta Llama 3 模型的 NVIDIA NIM 微服务。通过基于 NVIDIA GPU 的 Hugging Face 推理端点，只需点击几下，开发者就能在其选择的云平台上轻松地访问和运行 Llama 3 NIM。
对于企业而言，NIM 还可使企业能够最大限度利用其基础设施投资。例如，相较于未使用 NIM 的情况下，在 NIM 中运行 Meta Llama
3-8B 时，后者在加速基础设施上可产生高达 3 倍的生成式 AI token。这使企业能够大幅提高效率，使用相同的计算基础设施来生成更多的结果。
企业可以使用 NIM 来运行用于生成文本、图像和视频、语音以及数字人的应用。借助面向数字生物学的 NVIDIA BioNeMo™ NIM 微服务，研究人员可以构建新的蛋白质结构，加速药物研发。
数十家医疗公司正在一系列应用中部署 NIM，以便在手术规划、数字助手、药物研发和临床试验优化等一系列应用中为生成式 AI 推理提供动力。
借助全新的 NVIDIA ACE NIM 微服务，开发者可以在客户服务、远程医疗、教育、游戏和娱乐等应用中，轻松构建和操作栩栩如生的交互式数字人。
已有数百家合作伙伴已嵌入NIM
为了便于企业开发者基于各种平台开发AI应用，NVIDIA已经与数百家生态合作伙伴合作，将NVIDIA NIM嵌入到他们的系统当中。这些合作伙伴包括 Canonical、Red Hat、Nutanix 和 VMware（已被博通收购）在内的平台提供商已在开源 KServe 或企业解决方案方面支持 NIM。AI 应用公司 Hippocratic AI、Glean、Kinetica 和 Redis 也在部署 NIM 来支持生成式 AI 推理。
领先的 AI 工具和 MLOps 合作伙伴（包括亚马逊 SageMaker、微软 Azure AI、Dataiku、DataRobot、deepset、Domino Data Lab、LangChain、Llama Index、Replicate、Run.ai、Saturn Cloud、Securiti AI 和 Weights &
Biases）也已将 NIM 嵌入到其平台，使开发者能够通过优化推理来构建和部署特定领域的生成式 AI 应用。
另外，包括 Cadence、Cloudera、Cohesity、DataStax、NetApp、Scale AI 和新思科技等近 200 家技术合作伙伴正在将 NIM 集成到他们的平台中，以加快特定领域应用的生成式 AI 部署，例如 copilot、代码助手和数字人虚拟形象。从 Meta Llama
3 开始，在 Hugging Face 上现已开始提供 NIM。
全球系统集成商和服务交付合作伙伴埃森哲、德勤、Infosys、Latentview、Quantiphi、SoftServe、塔塔咨询服务（TCS）和威普罗（Wipro）已经建立了 NIM 能力，以帮助全球企业快速开发和部署生产型 AI 策略。
据了解，企业几乎可以在任何地方运行支持 NIM 的应用，包括在全球基础设施制造商思科、戴尔科技、慧与、联想和超微，以及服务器制造商永擎电子、华硕、技嘉、鸿佰科技、英业达、和硕、QCT、纬创资通和纬颖科技的 NVIDIA 认证系统™ 上运行。NIM 微服务也已集成至亚马逊云科技、谷歌云、Azure 和 Oracle 云基础设施中。
正如NVIDIA CEO 黄仁勋在 COMPUTEX 开幕前发表主题演讲中所述，每个企业都希望在其运营中融入生成式 AI，但并非每个企业都拥有专门的 AI 研究团队。NVIDIA NIM 可被集成到任意平台中，任何地方的开发者都可以访问，并且可以在任意环境中运行——它正在助力科技行业将生成式 AI 普及到每一个企业组织。
笔者点评：无论是企业还是个人，在探索生成式AI场景，开发各类大模型应用过程中都会面临着各种挑战。在这些挑战当中，开发者势必将面临着更大的压力。这是因为，从传统开发者向AI开发者转变的过程中，需要学习太多的专业技能，不仅难度大，而且开发周期长，效率并不高。NVIDIA NIM的推出，将彻底改变传统的开发模式，不但能够让开发者轻松地为 copilots、聊天机器人等构建生成式AI应用，而且能够大幅降低AI应用开发所需时间。可以说，NVIDIA NIM是站在开发者角度推出的一款开发工具，它的推出将进一步加速AI应用的落地进程，为企业探索AI应用提供无限可能。
