近日，阿里巴巴宣布開源了其Qwen1.5系列中的首個千億參數(shù)模型——Qwen1.5-110B。這一舉措不僅彰顯了阿里巴巴在人工智能領(lǐng)域的創(chuàng)新實力，也標(biāo)志著中國企業(yè)在大型語言模型領(lǐng)域取得了顯著進展。
據(jù)悉，Qwen1.5-110B模型采用了Transformer解碼器架構(gòu)，并引入了分組查詢注意力（GQA）技術(shù)，使得模型在推理時更加高效。該模型支持長達32K tokens的上下文長度，具備多語言處理能力，支持包括英、中、法、西、德、俄、日、韓、越、阿等在內(nèi)的多種語言。
在性能評估方面，Qwen1.5-110B模型展現(xiàn)出了與Meta的Llama3-70B模型相媲美的實力。這一成績是在沒有大幅改變預(yù)訓(xùn)練方法的情況下取得的，阿里巴巴方面認(rèn)為，性能的提升主要歸功于模型規(guī)模的增加。這一結(jié)果不僅證明了阿里巴巴在模型設(shè)計和優(yōu)化方面的專業(yè)能力，也為中國在大型語言模型領(lǐng)域的發(fā)展注入了新的活力。
除了在基礎(chǔ)能力評估中表現(xiàn)出色外，Qwen1.5-110B模型在Chat評估中也取得了優(yōu)異的成績。在MT-Bench和AlpacaEval 2.0這兩個Chat模型基準(zhǔn)評估中，該模型相較于之前發(fā)布的72B模型表現(xiàn)出了顯著的優(yōu)勢。這一結(jié)果進一步證明了更大規(guī)模的基礎(chǔ)語言模型可以帶來更好的Chat模型性能。
阿里巴巴方面表示，Qwen1.5-110B是Qwen1.5系列中規(guī)模最大的模型，也是該系列中首個擁有超過1000億參數(shù)的模型。這一成就不僅彰顯了阿里巴巴在大型語言模型領(lǐng)域的領(lǐng)先地位，也為中國企業(yè)在全球人工智能競爭中贏得了更多的話語權(quán)。
隨著人工智能技術(shù)的不斷發(fā)展，大型語言模型已經(jīng)成為了各大科技企業(yè)的重點研究方向。阿里巴巴此次開源Qwen1.5-110B模型，不僅為開發(fā)者提供了更加優(yōu)秀的工具，也為推動人工智能技術(shù)的普及和應(yīng)用做出了積極的貢獻。
未來，我們期待看到更多中國企業(yè)在大型語言模型領(lǐng)域取得突破，為人工智能技術(shù)的發(fā)展和應(yīng)用注入更多的活力和創(chuàng)新力量。
原創(chuàng)文章，作者：AI，如若轉(zhuǎn)載，請注明出處：http://m.2079x.cn/article/651113.html
