據(jù)報(bào)道，OpenAI 正以 3000 億美元的更高估值籌集更多資金，但對基于生成式人工智能熱潮的大型科技股泡沫的擔(dān)憂，已經(jīng)削弱了市場領(lǐng)先企業(yè)的地位。
中國的 DeepSeek 的出現(xiàn)是一個主要原因，現(xiàn)在，數(shù)十億美元的人工智能數(shù)據(jù)中心建設(shè)正受到審視，阿里巴巴聯(lián)合創(chuàng)始人蔡崇信最近也發(fā)出了警告。
但在斯坦福大學(xué)和加州大學(xué)伯克利分校等頂尖學(xué)校的計(jì)算機(jī)科學(xué)家當(dāng)中，僅需 30 美元就能構(gòu)建一個大語言模型的能力，帶來了 “頓悟” 時刻。
當(dāng) DeepSeek 發(fā)布其 R1 模型，并聲稱僅花費(fèi) 600 萬美元就實(shí)現(xiàn)了其生成式人工智能大語言模型時，包括微軟投資的 OpenAI 在內(nèi)的美國人工智能市場領(lǐng)先企業(yè)所投入的數(shù)十億美元資金，立即受到了審視。
DeepSeek 的成本分析仍然受到懷疑，投資者對 OpenAI 的信心也并未減弱。據(jù)報(bào)道，它準(zhǔn)備以高達(dá) 3000 億美元的估值進(jìn)行一輪 400 億美元的融資，并表示今年的收入將增長兩倍，達(dá)到 127 億美元。熱門人工智能芯片公司 CoreWeave 本周也希望重振不穩(wěn)定的首次公開募股（IPO）市場，并開啟人工智能股票發(fā)行熱潮。但對人工智能市場是否發(fā)展過快、支出水平是否過高的擔(dān)憂也并未停止。
今年到目前為止，“七巨頭” 科技股一直是市場表現(xiàn)最差的股票之一，就在本周，阿里巴巴聯(lián)合創(chuàng)始人蔡崇信警告稱，他看到了美國人工智能泡沫正在形成的跡象。隨著對人工智能發(fā)展以及美國在人工智能競賽中領(lǐng)先地位的預(yù)期不斷調(diào)整，其影響已經(jīng)廣泛蔓延，從要求實(shí)施更嚴(yán)厲的芯片禁運(yùn)以減緩中國的發(fā)展，到另一方面，風(fēng)險投資家們向中國的人工智能開發(fā)者投入更多資金。
但對于美國人工智能領(lǐng)域的一些人來說，一切仍在全速前進(jìn)，因?yàn)樯墒饺斯ぶ悄茴I(lǐng)域的廉價采購熱潮，讓研究人員能夠以前所未有的方式推動大語言模型的構(gòu)建能力，而在 DeepSeek 出現(xiàn)之前，他們似乎無法做到這一點(diǎn)。
加州大學(xué)伯克利分校的研究人員是最早對 DeepSeek 進(jìn)行小規(guī)模語言模型復(fù)現(xiàn)的團(tuán)隊(duì)之一，而且僅花費(fèi)了 30 美元。這是在公共云上租用兩塊英偉達(dá) H200 圖形處理器（GPU），并使用一個簡單游戲來訓(xùn)練 “30 億參數(shù)”（3B）模型的費(fèi)用 —— 這里的 “30 億” 指的是模型中的參數(shù)數(shù)量，實(shí)際上比最復(fù)雜的大語言模型（其參數(shù)數(shù)量可達(dá)數(shù)萬億）要少得多。
“在 DeepSeek R1 發(fā)布后，我們立即啟動了這個項(xiàng)目。”TinyZero 項(xiàng)目負(fù)責(zé)人、該校研究生研究員潘佳怡說。
OpenAI 的突破對該團(tuán)隊(duì)的研究興趣同樣至關(guān)重要，潘佳怡表示，他們對一種新的人工智能推理范式很著迷，這種范式 “旨在讓人工智能在做出回應(yīng)之前多花些時間思考”。
但 DeepSeek R1 是首個有助于解釋如何實(shí)現(xiàn)這種 “先思考再回答” 能力的公開研究，這種能力提高了人工智能模型的性能。“我們非常好奇這種算法是如何工作的。” 潘佳怡說。但潘佳怡補(bǔ)充道，即便 DeepSeek 據(jù)說只花了 600 萬美元來訓(xùn)練其 R1 模型，這對他們來說 “還是太貴了”。
TinyZero 項(xiàng)目背后的主要思路是，如果在減小模型規(guī)模的同時降低任務(wù)復(fù)雜度，模型仍然能夠展現(xiàn)出涌現(xiàn)的推理行為。這些調(diào)整將大幅降低成本，同時仍能讓研究人員測試和觀察實(shí)際的推理行為。
人工智能的 “頓悟” 時刻
為了驗(yàn)證這一思路，該團(tuán)隊(duì)在一個名為 “倒計(jì)時”（Countdown）的數(shù)學(xué)游戲中復(fù)現(xiàn)了 DeepSeek R1-Zero 算法，這個游戲更注重推理能力，而不是基于已有的 “領(lǐng)域” 知識（即數(shù)學(xué)知識）來尋找解決方案。在這個游戲中，人工智能需要得出一個目標(biāo)數(shù)字，可以通過加、減、乘或除來實(shí)現(xiàn)。
起初，TinyZero 采用隨機(jī)的方法來尋找目標(biāo)數(shù)字；然而，經(jīng)過訓(xùn)練，它開始學(xué)會調(diào)整方法，找到更好、更快的解決方案。而且，即使任務(wù)復(fù)雜度和模型規(guī)模都降低了，該模型仍然能夠展現(xiàn)出涌現(xiàn)的推理行為。它通過在游戲的參數(shù)范圍內(nèi)學(xué)習(xí)玩這個游戲，學(xué)會了推理。
“我們證明了，即使是像 30 億參數(shù)這么小的模型，也能學(xué)會對簡單問題進(jìn)行推理，并開始學(xué)會自我驗(yàn)證和尋找更好的解決方案。” 潘佳怡說。她表示，這是 DeepSeek R1 和 OpenAI o1 發(fā)布成果中的一個關(guān)鍵結(jié)果，通常被稱為 “頓悟時刻”。
雖然最大的人工智能模型、DeepSeek 和 TinyZero 這樣的項(xiàng)目之間存在顯著差異，但涌現(xiàn)的推理行為是相似的，TinyZero 這樣的成功案例表明，預(yù)算有限的研究人員、工程師和愛好者也能夠接觸到前沿的人工智能算法。
“我們的項(xiàng)目吸引了很多人訪問我們在 GitHub 上的頁面，復(fù)現(xiàn)實(shí)驗(yàn)并親自體驗(yàn)‘頓悟’時刻。” 潘佳怡說。
共2頁 [1] [2] 下一頁
