微软的星球级的 AI 基础设施包括数十万个 GPU 微软透露,它运营着一个星球级的分布式调度服务来处理 AI 工作负载,它被称为“奇点”。它的目的是提高深度学习工作负载的高利用率来控制成本。其工作负载感知调度器可以透明地抢占和弹性地扩展深度学习工作负载,在 AI 加速器(如 GPU、FPGA)全球机群上提高利用率,而不影响其正确性或性能。在“奇点”机群中有数十万个 GPU,以及 FPGA 和其他
随着图形处理器在计算机里变得越来越常见,英伟达正在扩大与标准和开源社区的合作,以便于包括先前仅限于该公司开发工具的下游技术。虽然人们在 C++ 和 Fortran 等语言上投入了大量精力,但这些语言被认为在高度并行的计算机上执行代码落后于原生实现的编程语言。 英伟达结合了开放和专有库的 CUDA 并行编程框架影响了许多正在开放和主流化的技术。在 2007 年,CUDA 作为一个为程序员开发基于 G