在人工智能領(lǐng)域，一場(chǎng)新的競(jìng)賽正在激烈展開(kāi)。昨日，被譽(yù)為“歐洲版OpenAI”的法國(guó)公司Mistral AI悄然發(fā)布了一款全新的MoE（專家混合）大模型——Mixtral 8x22B。這款模型的參數(shù)規(guī)模高達(dá)1760億，僅次于馬斯克的Grok-1，成為了市場(chǎng)上參數(shù)規(guī)模第二大的開(kāi)源模型。
Mixtral 8x22B的發(fā)布引起了業(yè)界的廣泛關(guān)注。該模型由8個(gè)專家模型構(gòu)成，每個(gè)模型的參數(shù)規(guī)模達(dá)到了220億，模型文件大小約為262GB。在性能上，Mixtral 8x22B在多項(xiàng)測(cè)評(píng)中取得了令人矚目的成績(jī)，尤其是在MMLU（大規(guī)模多任務(wù)語(yǔ)言理解）測(cè)試中，該模型成功登頂開(kāi)源模型榜首，同時(shí)在Hellaswag、TruthfulQA、GSM8K等多項(xiàng)測(cè)評(píng)中，成績(jī)超越了Llama 2 70B、GPT-3.5以及Claude 3 Sonnet等競(jìng)爭(zhēng)對(duì)手。
值得一提的是，盡管Mixtral 8x22B的發(fā)布方式相對(duì)低調(diào)，但其在開(kāi)源社區(qū)中卻引起了巨大的反響。在放出磁力鏈接后不久，Mixtral 8x22B便迅速上架了開(kāi)源社區(qū)Hugging Face，用戶可以進(jìn)一步對(duì)其進(jìn)行訓(xùn)練和部署。AI搜索平臺(tái)Perplexity Labs和開(kāi)源平臺(tái)Together AI也迅速提供了對(duì)該模型的支持。
在性能優(yōu)化方面，AI科學(xué)家賈揚(yáng)清表示，通過(guò)合理的量化，Mixtral 8x22B可以在4個(gè)A100/H100顯卡上運(yùn)行，實(shí)際上，只需要3張A100顯卡就足夠支持其運(yùn)行。此外，蘋果機(jī)器學(xué)習(xí)研究員Awni Hannun也指出，Mixtral 8x22B模型在蘋果機(jī)器學(xué)習(xí)框架MLX上使用M2 Ultra芯片運(yùn)行良好，并發(fā)布了MLX社區(qū)中的4位量化模型。
Mistral AI的這一重大突破不僅體現(xiàn)了法國(guó)在人工智能領(lǐng)域的強(qiáng)大實(shí)力，也進(jìn)一步推動(dòng)了全球AI技術(shù)的發(fā)展。隨著開(kāi)源社區(qū)的快速發(fā)展，Mixtral 8x22B的發(fā)布無(wú)疑將為更多開(kāi)發(fā)者和研究人員提供新的機(jī)遇和挑戰(zhàn)。
此外，Mistral AI的成就也反映了法國(guó)AI生態(tài)的蓬勃發(fā)展。近年來(lái)，法國(guó)在AI領(lǐng)域取得了顯著的進(jìn)步，從計(jì)算機(jī)培訓(xùn)學(xué)校的創(chuàng)辦到深度學(xué)習(xí)研究院的成立，再到創(chuàng)業(yè)園區(qū)的興起，法國(guó)已經(jīng)成為全球AI領(lǐng)域的重要力量。
與此同時(shí)，法國(guó)AI生態(tài)的崛起也吸引了全球科技巨頭的關(guān)注。谷歌DeepMind在巴黎開(kāi)設(shè)實(shí)驗(yàn)室，進(jìn)一步證明了法國(guó)在AI領(lǐng)域的吸引力。而Mistral AI的成功，更是為法國(guó)AI生態(tài)的未來(lái)發(fā)展注入了強(qiáng)大的動(dòng)力。
隨著人工智能技術(shù)的不斷發(fā)展，我們期待看到更多像Mistral AI這樣的公司能夠涌現(xiàn)出來(lái)，推動(dòng)全球AI技術(shù)的進(jìn)步，為人類社會(huì)的未來(lái)發(fā)展貢獻(xiàn)更多的智慧和力量。
原創(chuàng)文章，作者：AI，如若轉(zhuǎn)載，請(qǐng)注明出處：http://m.2079x.cn/article/646396.html
