|
5年實(shí)現(xiàn)AGI，未來(lái)10年算力提高100萬(wàn)倍，對(duì)手芯片免費(fèi)也比不過(guò)英偉達(dá)！黃仁勛斯坦福分享第二彈
本次訪問(wèn)信息量巨大，黃仁勛就加速計(jì)算的本質(zhì)、模型訓(xùn)練的未來(lái)、推理芯片的競(jìng)爭(zhēng)等話題發(fā)表了自己的看法，另外，他還對(duì)通用AGI何時(shí)實(shí)現(xiàn)，AI增長(zhǎng)需要多少額外芯片產(chǎn)能進(jìn)行了預(yù)測(cè)。
來(lái)源：硬AI 作者：卜淑情
當(dāng)?shù)貢r(shí)間3月4日，英偉達(dá)CEO黃仁勛赴斯坦福商學(xué)院，以斯坦福校友的身份分享了他的艱難創(chuàng)業(yè)歷程，以及他對(duì)人工智能革命的看法，在業(yè)界引發(fā)了不小的轟動(dòng)。
不到一周，黃仁勛再度亮相斯坦福，在斯坦福經(jīng)濟(jì)政策研究所（SIEPR）經(jīng)濟(jì)峰會(huì)上接受了訪問(wèn)。本次訪問(wèn)信息量巨大，黃仁勛就加速計(jì)算的本質(zhì)、模型訓(xùn)練的未來(lái)、推理芯片的競(jìng)爭(zhēng)等話題發(fā)表了自己的看法，另外，他還對(duì)通用人工智能（AGI）何時(shí)實(shí)現(xiàn)，AI增長(zhǎng)需要多少額外芯片產(chǎn)能進(jìn)行了預(yù)測(cè)。
黃仁勛認(rèn)為，AI會(huì)在五年內(nèi)通過(guò)人類(lèi)測(cè)試，AGI將很快到來(lái)。不過(guò)，答案很大程度上取決于我們?nèi)绾味x這個(gè)目標(biāo)。他表示，如果我們對(duì)“像人類(lèi)一樣思考的計(jì)算機(jī)”的定義，是通過(guò)人類(lèi)測(cè)試能力，那么AGI很快就會(huì)到來(lái)。
他還表示，未來(lái)10年，英偉達(dá)計(jì)劃使深度學(xué)習(xí)的計(jì)算能力再提高100萬(wàn)倍。到那時(shí)，英偉達(dá)將實(shí)現(xiàn)持續(xù)學(xué)習(xí)，不再是現(xiàn)在這樣先學(xué)習(xí)后應(yīng)用的模式。
黃仁勛核心觀點(diǎn)：
如果你對(duì)AGI的定義是通過(guò)人類(lèi)的測(cè)試，那么我會(huì)告訴你，5年就可以實(shí)現(xiàn)。但如果你稍微改變一下問(wèn)題的提問(wèn)方式，即AGI是要具備人類(lèi)的智能，那么我還不太確定如何明確定義你們所有的智能。事實(shí)上，沒(méi)有人真正確定。未來(lái)10年，我們計(jì)劃使深度學(xué)習(xí)的計(jì)算能力再提高100萬(wàn)倍。到那時(shí)，我們將實(shí)現(xiàn)持續(xù)學(xué)習(xí)，不再是現(xiàn)在這樣先學(xué)習(xí)后應(yīng)用的模式。在過(guò)去的10年里，我們將計(jì)算成本降低了100萬(wàn)倍。很多人說(shuō)，但如果你能將計(jì)算成本降低100萬(wàn)倍，人們花的錢(qián)自然會(huì)更少，但事實(shí)恰恰相反……需求顯著增長(zhǎng)．．．．．．因此，我們會(huì)做更多的計(jì)算，我們會(huì)將計(jì)算的邊際成本降低到接近零。一塊（H100）就可以取代一個(gè)由傳統(tǒng)CPU組成的數(shù)據(jù)中心。雖然它售價(jià)高達(dá)2.5萬(wàn)美元一塊，但與之對(duì)應(yīng)的舊系統(tǒng)，光是電纜的成本就超過(guò)了芯片價(jià)格。我們重新定義了計(jì)算方式，將整個(gè)數(shù)據(jù)中心都濃縮在這一款芯片之中。推理芯片非常難。你以為，推理的響應(yīng)時(shí)間必須非常快，但這還算簡(jiǎn)單的，因?yàn)檫@是計(jì)算機(jī)科學(xué)中算是容易的部分。難得部分是，部署推理的人的目標(biāo)，是吸引更多的用戶，將該軟件應(yīng)用于龐大的安裝用戶基礎(chǔ)。推理是一個(gè)關(guān)于安裝基礎(chǔ)的問(wèn)題。這與為iPhone編寫(xiě)應(yīng)用程序的人是一樣的，他們這么做是因?yàn)閕Phone有如此龐大的裝機(jī)量，幾乎人手一部。因此，如果為iPhone編寫(xiě)應(yīng)用程序，就會(huì)獲得巨大收益，能惠及所有用戶。購(gòu)買(mǎi)和銷(xiāo)售芯片的人僅僅考慮的是芯片的價(jià)格，而運(yùn)營(yíng)數(shù)據(jù)中心的人考慮的是整個(gè)運(yùn)營(yíng)成本、部署時(shí)間、性能、利用率以及在所有這些不同應(yīng)用中的靈活性�？偟膩�(lái)說(shuō)，我們的總運(yùn)營(yíng)成本（TCO）非常低，即使競(jìng)爭(zhēng)對(duì)手的芯片是免費(fèi)的，最終算下來(lái)它也不夠便宜！我們正在訓(xùn)練的這些模型是多模態(tài)的，這意味著我們將從聲音中學(xué)習(xí)，就像我們所有人一樣，看電視并從中學(xué)習(xí)。這很重要，因?yàn)槲覀兿Ｍ鸄I不僅植根于人類(lèi)價(jià)值觀，當(dāng)然這是ChatGPT真正創(chuàng)新的地方，也就是RLHF（基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)）。我們每10年都將算力提高一百萬(wàn)倍，而需求卻增長(zhǎng)一萬(wàn)億倍，這兩者必須相互抵消。然后還有技術(shù)擴(kuò)散等等，這只是時(shí)間問(wèn)題，但這并不改變這樣一個(gè)事實(shí)：總有一天，世界上所有的計(jì)算機(jī)都將100%地改變，每一個(gè)數(shù)據(jù)中心，價(jià)值數(shù)萬(wàn)億美元的基礎(chǔ)設(shè)施，將完全改變，然后在這之上還會(huì)建造新的基礎(chǔ)設(shè)施。AI很可能是21世紀(jì)最重要的事物。至于晶體管，它是20世紀(jì)最偉大的發(fā)明。不過(guò)，兩者都接近最偉大發(fā)明了，我們可以讓歷史來(lái)評(píng)判。未來(lái)的AI計(jì)算機(jī)會(huì)合成數(shù)據(jù)生成、在進(jìn)行強(qiáng)化學(xué)習(xí)，并將持續(xù)以真實(shí)世界的經(jīng)驗(yàn)數(shù)據(jù)為基礎(chǔ)。它會(huì)想象一些情況，用真實(shí)世界的經(jīng)驗(yàn)進(jìn)行測(cè)試和修正。整個(gè)過(guò)程就是一個(gè)巨大的循環(huán)。我想我最大的優(yōu)勢(shì)之一就是我的期望值很低．．．．．．期望值很高的人，耐力就很低。不幸的是，在成功的道路上，耐力是很重要的。我不知道如何教給你們，除非我希望你們?cè)馐芤恍┠ルy。編碼是一個(gè)推理過(guò)程，是件好事。但它能保證你找到工作嗎？一點(diǎn)兒也不能。世界上的程序員肯定會(huì)繼續(xù)大量存在，英偉達(dá)也需要程序員。但是，將來(lái)你與計(jì)算機(jī)交互的方式不會(huì)是C++。
|
