今日，英偉達(dá)宣布其DeepSeek-R1模型現(xiàn)已在build.nvidia.com平臺(tái)上以NVIDIA NIM微服務(wù)預(yù)覽版的形式提供。這一消息標(biāo)志著英偉達(dá)在AI服務(wù)部署方面邁出了重要一步。
據(jù)了解，DeepSeek-R1 NIM微服務(wù)能夠在單個(gè)NVIDIA HGX H200系統(tǒng)上每秒處理多達(dá)3,872個(gè)tokens，為開(kāi)發(fā)人員提供了強(qiáng)大的處理能力。開(kāi)發(fā)人員現(xiàn)在可以通過(guò)測(cè)試和試驗(yàn)API，為將來(lái)的應(yīng)用做好準(zhǔn)備。該API預(yù)計(jì)很快將作為可下載的NIM微服務(wù)提供，成為NVIDIA AI Enterprise軟件平臺(tái)的一部分。
DeepSeek-R1 NIM微服務(wù)通過(guò)支持行業(yè)標(biāo)準(zhǔn)API，簡(jiǎn)化了部署過(guò)程。企業(yè)可以在其首選的加速計(jì)算基礎(chǔ)設(shè)施上運(yùn)行NIM微服務(wù)，從而最大限度地提高安全性和數(shù)據(jù)隱私。此外，結(jié)合NVIDIA AI Foundry和NVIDIA NeMo軟件，企業(yè)還能夠?yàn)閷?zhuān)用AI代理創(chuàng)建自定義的DeepSeek-R1 NIM微服務(wù)。
英偉達(dá)于2024年3月推出了NIM（Nvidia Inference Microservices）云原生微服務(wù)，旨在方便各種規(guī)模的企業(yè)部署AI服務(wù)。NIM是一套經(jīng)過(guò)優(yōu)化的云原生微服務(wù)，旨在縮短上市時(shí)間，并簡(jiǎn)化生成式AI模型在各種環(huán)境下的部署。
原創(chuàng)文章，作者：AI，如若轉(zhuǎn)載，請(qǐng)注明出處：http://m.2079x.cn/article/704631.html
