在人工智能領(lǐng)域，谷歌DeepMind再次引領(lǐng)創(chuàng)新潮流，發(fā)布了全新的Mixture-of-Depths（MoD）架構(gòu)。這一突破性技術(shù)改變了傳統(tǒng)的Transformer計(jì)算模式，通過動(dòng)態(tài)分配大模型中的計(jì)算資源，顯著提高了AI模型的訓(xùn)練效率和推理速度。
據(jù)了解，MoD架構(gòu)通過優(yōu)化不同層次模型深度中的計(jì)算資源分配，實(shí)現(xiàn)了對(duì)輸入序列中特定位置token的精準(zhǔn)關(guān)注。它限制給定層的自注意力和MLP計(jì)算的token數(shù)量，從而避免不必要的計(jì)算，使神經(jīng)網(wǎng)絡(luò)能夠更有效地聚焦于真正重要的信息。這種動(dòng)態(tài)分配計(jì)算資源的方式，不僅提高了計(jì)算效率，還使得模型在訓(xùn)練過程中能夠更快速地收斂。
在等效計(jì)算量和訓(xùn)練時(shí)間下，MoD架構(gòu)展示出了顯著的優(yōu)勢。谷歌方面的測試結(jié)果顯示，相比傳統(tǒng)方法，MoD每次向前傳播所需的計(jì)算量更小，而且在訓(xùn)練后的采樣過程中，步進(jìn)速度提高了50%。這一性能提升對(duì)于大型AI模型的訓(xùn)練和推理具有重要意義，將有助于加速AI技術(shù)的研發(fā)和應(yīng)用。
此外，谷歌研究團(tuán)隊(duì)還探討了MoD與MoE（Mixture-of-Experts）結(jié)合的可能性。MoDE結(jié)合了MoD的動(dòng)態(tài)計(jì)算分配和MoE的專家模型優(yōu)勢，有望進(jìn)一步提升AI模型的性能和推理速度。這一結(jié)合為AI技術(shù)的發(fā)展開辟了新的道路，有望為未來的AI應(yīng)用帶來更高效、更準(zhǔn)確的解決方案。
除了MoD架構(gòu)的發(fā)布，谷歌DeepMind還聯(lián)合斯坦福大學(xué)開發(fā)了一款名為SAFE的AI事實(shí)核查工具。SAFE通過對(duì)AI聊天機(jī)器人生成的回復(fù)進(jìn)行分析、處理和評(píng)估，以驗(yàn)證其準(zhǔn)確性和真實(shí)性。這一工具對(duì)于解決AI幻覺問題具有重要意義，有助于提升AI模型的可靠性和可信度。
谷歌方面的研究人員通過創(chuàng)建包含大量事實(shí)的數(shù)據(jù)集并在多個(gè)大語言模型上進(jìn)行測試，驗(yàn)證了SAFE的性能。結(jié)果顯示，SAFE在對(duì)爭議事實(shí)的分析中表現(xiàn)出色，其判定在進(jìn)一步審查下的正確率達(dá)到了76%。同時(shí)，SAFE還具備顯著的經(jīng)濟(jì)性優(yōu)勢，其成本比人工注釋便宜20多倍，為AI技術(shù)的廣泛應(yīng)用提供了有力支持。
MoD架構(gòu)和SAFE工具的發(fā)布，再次展示了谷歌DeepMind在人工智能領(lǐng)域的創(chuàng)新實(shí)力。這些技術(shù)成果不僅提高了AI模型的訓(xùn)練和推理效率，還解決了AI應(yīng)用中的一些關(guān)鍵問題，為AI技術(shù)的進(jìn)一步發(fā)展奠定了堅(jiān)實(shí)基礎(chǔ)。未來，隨著這些技術(shù)的不斷優(yōu)化和完善，相信AI將在更多領(lǐng)域展現(xiàn)出其巨大的潛力和價(jià)值。
原創(chuàng)文章，作者：李森，如若轉(zhuǎn)載，請(qǐng)注明出處：http://m.2079x.cn/article/643913.html
