近日，NEAR聯(lián)創(chuàng)Illia出席了“2024香港Web3嘉年華”活動(dòng)，并發(fā)表AI和Web3相關(guān)話題的重要演講。本文特對(duì)其演講進(jìn)行了整理，略有刪減。
大家好，我是NEAR的聯(lián)合創(chuàng)始人Illia，今天我們將討論為什么AI需要Web3。NEAR實(shí)際上起源于AI，在開始創(chuàng)業(yè)之旅之前，我在Google Research工作，專注于自然語言理解，也是谷歌深度學(xué)習(xí)框架TensorFlow的主要貢獻(xiàn)者之一。在一群同事的共同努力下，我們創(chuàng)造了首個(gè)“Transformers”模型，它帶來了我們現(xiàn)在看到的重大創(chuàng)新，推動(dòng)了AI的發(fā)展，這也是GPT中的“T”的由來。
后來我離開谷歌創(chuàng)辦了NEAR。作為一家AI初創(chuàng)公司，我們會(huì)教機(jī)器編程，我們的方法之一是做大量的數(shù)據(jù)標(biāo)記，讓學(xué)生為我們創(chuàng)建數(shù)據(jù)，我們面臨著支付他們工資的問題，因?yàn)樗麄儊碜匀蚋鞯?，他們中的一些人甚至沒有銀行賬戶。我們開始研究區(qū)塊鏈作為應(yīng)對(duì)方法，并意識(shí)到?jīng)]有什么能滿足我們的需求 ，即可擴(kuò)容、低費(fèi)用、易使用和易上手。也是在此時(shí)我們創(chuàng)建了NEAR協(xié)議。
對(duì)不熟悉的人說 ，語言模型并非新事物，它們從20世紀(jì)50年代就存在了。通用的統(tǒng)計(jì)模型允許對(duì)語言建模，并在各種應(yīng)用中使用它。對(duì)我來說 ，真正有趣的創(chuàng)新發(fā)生在2013年，當(dāng)時(shí)引入了詞嵌入，這個(gè)創(chuàng)意可以讓我們從“紐約”這樣的符號(hào)，新增到多維度的向量中并轉(zhuǎn)換為數(shù)學(xué)形式。這與深度學(xué)習(xí)模型配合得很好，它們只是大量的矩陣乘法和激活函數(shù)。
2013年后我加入谷歌。在2014年初，研究中使用的主要模型是RNN。它與人類一次閱讀一個(gè)單詞的方法相似，這有一個(gè)巨大的限制，如果你想閱讀多個(gè)文檔來回答一個(gè)問題，你將有一個(gè)相當(dāng)大的延遲，這在Google上的生產(chǎn)中使用是不可行的。
Transformer誕生于我們?cè)诮鉀QRNN挑戰(zhàn)的過程中。我們嘗試?yán)糜?jì)算中的并行性，它更多存在于硬件中，特別是在GPU中，幾乎可以消耗整個(gè)文檔 ，并嘗試同時(shí)理解它 ，而不需要一次執(zhí)行1個(gè)步驟，沒有這種瓶頸。這允許我們?yōu)镺penAI團(tuán)隊(duì)引入一個(gè)模型后，真正擴(kuò)展它，在非常大的語料庫上預(yù)訓(xùn)練它，這催生了我們今天看到的ChatGPT、Gemini和其他模型等重大創(chuàng)新。
現(xiàn)在我們看到AI出現(xiàn)了重大創(chuàng)新，而且這種創(chuàng)新還在加速。這些模型能夠進(jìn)行基本的推理，他們有常識(shí)。我們看到人們繼續(xù)挑戰(zhàn)這些模型的極限。我認(rèn)為，重要的是，在機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)領(lǐng)域有人在解釋結(jié)果?，F(xiàn)在有趣的是大語言模型能夠直接與人交流，并且能夠與其他應(yīng)用和工具進(jìn)行交互。所以現(xiàn)在我們有了技術(shù)手段可以繞過中間人來解釋結(jié)果。
對(duì)于那些不熟悉的人來說，當(dāng)我們談?wù)撨@些模型被GPU訓(xùn)練或被使用時(shí) ，它們其實(shí)并不是游戲機(jī)GPU或加密挖礦GPU。這是一臺(tái)專業(yè)的超級(jí)計(jì)算機(jī)，一臺(tái)機(jī)器上通常有八個(gè)GPU，它們具有巨大的競(jìng)爭(zhēng)能力。這些機(jī)器被堆放在架子上，這些機(jī)架大多部署在數(shù)據(jù)中心。你訓(xùn)練相當(dāng)大的模型如Groq，花費(fèi)3個(gè)月的時(shí)間，動(dòng)用10,000個(gè)H100。租借設(shè)備將花費(fèi)你6,400萬美元。更重要的是，除了計(jì)算本身之外還有連接性。
這里的一個(gè)重要部分是A100，特別是H100，通過每秒900千兆字節(jié)的連接速度連接。所以作為參考，你的CPU到RAM，以每秒9千兆字節(jié)的速度連接。在數(shù)據(jù)中心機(jī)架中的兩個(gè)節(jié)點(diǎn)/兩個(gè)GPU之間移動(dòng)數(shù)據(jù)實(shí)際上比將數(shù)據(jù)從GPU移動(dòng)到CPU更快，特別是現(xiàn)在我們還在努力改進(jìn)Blackwell，其連接速度有望翻倍，達(dá)到每秒1,800千兆字節(jié)，這種硬件連接速度是瘋狂的，它允許我們不把這些設(shè)備看作獨(dú)立設(shè)備。因?yàn)閺某绦騿T的角度來看，它們感覺像是一個(gè)單一的操作。當(dāng)你大規(guī)模構(gòu)建系統(tǒng)時(shí)，有很多需要注意。這個(gè)想法是這些是高度連接的設(shè)備，本地網(wǎng)絡(luò)上的正常連接是每秒100兆字節(jié)，所以大約比這低一萬倍。
現(xiàn)在由于對(duì)訓(xùn)練的這種要求，我們現(xiàn)在看到封閉的AI模型正在興起。即使模型權(quán)重是開源的，我們實(shí)際上仍然不知道模型中加入了什么。這很重要，因?yàn)檫@些模型實(shí)際上是關(guān)于從數(shù)據(jù)中學(xué)習(xí)偏向的。有人開玩笑說，模型其實(shí)只是權(quán)重和偏向，這就是模型的表現(xiàn)方式?，F(xiàn)在除了工程師之外，還有許多團(tuán)隊(duì)通過修改數(shù)據(jù)集來決定進(jìn)入模型的內(nèi)容，因?yàn)槟承┰驔Q定某些內(nèi)容不應(yīng)該出現(xiàn)在數(shù)據(jù)中。然后在模型產(chǎn)生之后，對(duì)其進(jìn)行后期處理并改變系統(tǒng)提示，來決定這個(gè)模型將會(huì)推理什么。尤其危險(xiǎn)的是，我們并不知道這個(gè)模型是如何產(chǎn)生的。
我們也看到了AI正在迎來大規(guī)模的抗議和訴訟。因?yàn)閺臄?shù)據(jù)的使用到這些模型如何產(chǎn)生結(jié)果，到這些公司對(duì)分發(fā)平臺(tái)的權(quán)力，都容易引起爭(zhēng)議。模型本身成為了分發(fā)平臺(tái)，我們由此面臨著巨大的風(fēng)險(xiǎn)。顯然監(jiān)管機(jī)構(gòu)正試圖管制我們，想辦法限制不良行為者的訪問，這使開放模型和去中心化方法更難存在。開源沒有足夠的經(jīng)濟(jì)動(dòng)力，因此導(dǎo)致公司可能開始開源，然后在試圖賺錢的過程中限制開源其模型 ，以獲得更多的資本來購買算力，訓(xùn)練更大的模型。
生成式AI正在成為大規(guī)模操縱人們的工具，大公司的經(jīng)濟(jì)狀況總會(huì)導(dǎo)致激勵(lì)機(jī)制扭曲。在你實(shí)現(xiàn)了你的目標(biāo)市場(chǎng)份額后，你將繼續(xù)展示收入增長(zhǎng)。你需要增加每個(gè)用戶貢獻(xiàn)的平均收入，所以你需要從用戶身上獲取更多的價(jià)值，這就是開源AI的所有情況。使用Web3作為一種工具來激勵(lì)人們，可以為人們創(chuàng)造機(jī)會(huì)，同時(shí)也為人們創(chuàng)造足夠的計(jì)算和數(shù)據(jù)資源，使人們建立有競(jìng)爭(zhēng)力的模型。
我們需要讓大量AI工具在Web3世界發(fā)揮作用，才能將其整合在一起，我將從數(shù)據(jù)、基礎(chǔ)設(shè)施和應(yīng)用層面，介紹其中的幾個(gè)部分。其中一個(gè)重要的部分是因?yàn)檫@些語言模型現(xiàn)在能夠直接與社會(huì)互動(dòng)，它們能夠在整個(gè)廣泛的范圍內(nèi)，操縱和明顯地制造虛假信息。我想指出的是，AI在這里不是問題，因?yàn)檫@類事情以前就存在。重要的是我們需要利用密碼學(xué)和鏈上聲譽(yù)來解決這個(gè)問題。問題不在于AI生成這個(gè)或人類生成這個(gè)，關(guān)鍵是誰發(fā)布了它，它的源頭是什么，社區(qū)的意見是什么，這才是真正重要的。
另一方面，我們現(xiàn)在有代理。我們習(xí)慣把一切都稱為代理。但現(xiàn)實(shí)是，它們有相當(dāng)大的多樣性，可以有工具或自治代理，這可以是中心化的或去中心化的，例如ChatGPT是一個(gè)中心化的工具，而Llama模型是開源的。因此它們可以以中心化或去中心化的方式被使用，也可以讓去中心化模型只在用戶設(shè)備上運(yùn)行，而不需要區(qū)塊鏈或類似的東西。因?yàn)槿绻阍谀愕脑O(shè)備上運(yùn)行模型，你就可以保證它完全符合你的期望，有一種完全自治的去中心化AI治理，需要進(jìn)行驗(yàn)證，比如當(dāng)它分配資金和做出重要決定時(shí)。
還有不同類型的專業(yè)化。比如prompt，你可以進(jìn)行zero shot，教Llama以特定的方式回應(yīng) ，你可以對(duì)特定數(shù)據(jù)進(jìn)行微調(diào)，以向模型添加更多知識(shí)?；蛘吣憧梢赃M(jìn)行檢索增強(qiáng)，以在用戶請(qǐng)求時(shí)添加某種背景信息。輸出也不必只是文本，它也可以是一個(gè)豐富的UI組件，它可以是一個(gè)直接的行動(dòng)，在區(qū)塊鏈上做一些事情。
接下來是自主。它可以是一個(gè)工具 ，用來做你想做的事情；它也可以編寫自己的計(jì)劃并在其上執(zhí)行；它可以是一個(gè)連續(xù)的工作，你只需指定一個(gè)目標(biāo)；它可以是一個(gè)強(qiáng)化學(xué)習(xí)優(yōu)化，你只需指定一個(gè)指標(biāo)和一套標(biāo)準(zhǔn)和邊界；你讓模型不斷探索并找到增長(zhǎng)的方法。
最后是基礎(chǔ)架構(gòu)。你可以使用中心化基礎(chǔ)架構(gòu)如OpenAI和Groq。你可以有一個(gè)分布式的本地模型，你可以有一個(gè)帶有概率的去中心化推理。有一個(gè)非常有趣的使用案例，我們從可編程貨幣轉(zhuǎn)向智能資產(chǎn)，這是資產(chǎn)行為由自然語言定義的地方，并且可能與真實(shí)世界，或與其他用戶交互。比如這可以使用能閱讀新聞的自然語言oracle，它可以根據(jù)正在發(fā)生的事情自動(dòng)優(yōu)化策略。這里最大的注意事項(xiàng)是，當(dāng)前的語言模型對(duì)敵對(duì)行為并不健壯，因此很容易在各種事情上說服他們。
我們正處于十字路口，道路一側(cè)是一個(gè)封閉的AI世界，它將導(dǎo)致更多的操縱。監(jiān)管決策通常會(huì)導(dǎo)致這種情況，因?yàn)楸O(jiān)管機(jī)構(gòu)會(huì)要求越來越多的監(jiān)督，越來越多的KYC和越來越多的要求。只有大公司才能滿足這一要求。而創(chuàng)業(yè)公司 ，尤其是嘗試開源的創(chuàng)業(yè)公司，將沒有資源來進(jìn)行實(shí)際競(jìng)爭(zhēng)，最后只能倒閉以及被大公司收購。我們開始看到這種情況的發(fā)生。
道路的另一側(cè)是開放的模型，我們有承諾和能力，以非盈利和開源的心態(tài)來執(zhí)行它，我們使用加密經(jīng)濟(jì)激勵(lì)創(chuàng)造機(jī)會(huì)和資源，這是具有競(jìng)爭(zhēng)力的開源AI模型所必需的。NEAR正在努力在整個(gè)生態(tài)中做到這一點(diǎn)。AI is NEAR。在接下來的幾周里，我們會(huì)有更多的更新，歡迎大家關(guān)注我的推特和NEAR社交網(wǎng)站，了解更多更新，謝謝！
本文轉(zhuǎn)載自：marsbit，不代表科技訊之立場(chǎng)。原文鏈接：news.marsbit.co/20240411135844208659.html
