DeepSeek開(kāi)源第四彈 并行優(yōu)化策略開(kāi)源

2月27日,DeepSeek開(kāi)源周第四日,DeepSeek宣布開(kāi)源了公司內(nèi)部的并行優(yōu)化策略(Optimized Parallelism Strategies)。

DeepSeek開(kāi)源第四彈   并行優(yōu)化策略開(kāi)源

此次開(kāi)源,DeepSeek分別發(fā)布了DualPipe雙向管道并行算法和EPLB專家并行負(fù)載均衡器。

據(jù)DeepSeek介紹,DualPipe是一項(xiàng)在DeepSeek-V3技術(shù)報(bào)告中引入的雙向管道等值算法,它實(shí)現(xiàn)了向后和向后計(jì)算通信階段的完全重疊,還減少了管道氣泡。在GitHub上,目前該算法已經(jīng)獲得544個(gè)Star收藏。

原創(chuàng)文章,作者:AI,如若轉(zhuǎn)載,請(qǐng)注明出處:http://m.2079x.cn/article/708130.html

AI的頭像AI認(rèn)證作者

相關(guān)推薦

發(fā)表回復(fù)

登錄后才能評(píng)論