近期，华辰连科基于行业主流 uCPE 硬件平台，并结合企业在边缘设备上的核心应用，发布了 AI 智能网关整体解决方案。该解决方案将以网络处理见长的边缘侧传统智能接入网关，融合 AI…
腾讯混元DiT模型是业内首个中文原生的DiT架构文生图开源模型，为了提升开发者使用体验，腾讯混元官方上线了专属的加速库。开发者可通过 Hugging Face 下载该推理加速工具。…
一、背景 最近我们在生产环境批量部署了大模型专用推理集群，并成功让包括70B在内的大模型推理速度提升50%，大幅缩减部署成本，稳定应用于生产环境。本文基于我们在部署大模型推理集群时…
一、模型推理优化 随着模型在各种场景中的落地实践，模型的推理加速早已成为AI工程化的重要内容。而近年基于Transformer架构的大模型继而成为主流，在各项任务中取得SoTA成绩…
经过社区开发者们几个月的开发与贡献，现正式发布昇思MindSpore2.3.RC1版本，通过多维混合并行以及确定性CKPT来实现超大集群的高性能训练，支持大模型训推一体架构，大模型…
