您所在的位置:紅商網(wǎng) >> 天下匯頻道 >> 正文
大型語言模型遇到瓶頸 AI“淘金熱”時代即將終結(jié)?

  在人工智能領(lǐng)域的諸多不確定因素中,有一件事似乎一直很清楚:更大、更昂貴的系統(tǒng)能產(chǎn)生更好的結(jié)果。因此,像OpenAI這樣的模型開發(fā)商不斷籌集1570億美元的資金,以及大型科技集團的巨額資本支出。

  然而,現(xiàn)在這種確定性的核心似乎正在瓦解。由于沒有新的數(shù)據(jù)來訓(xùn)練軟件,研究人員正在努力通過投入更多的資源來獲得更智能的輸出。淘金熱階段可能即將結(jié)束,為更靈活的新競爭者打開了大門。

  智通財經(jīng)注意到,技術(shù)專家直到最近才認(rèn)同人工智能是“可擴展的”,這意味著越大越好。2020年,OpenAI的研究人員表明,當(dāng)使用更多的數(shù)據(jù)、計算能力和參數(shù)(就像系統(tǒng)的旋鈕和刻度盤)進行訓(xùn)練時,所謂的大型語言模型會以穩(wěn)定的速度改進。

  這引發(fā)了芯片和數(shù)據(jù)中心的軍備競賽,分析師預(yù)計,到2025年,僅微軟一家公司的資本支出就將達到640億美元,是通用汽車的六倍。Alphabet、亞馬遜、Meta平臺、微軟和英偉達的總市值比2022年11月OpenAI發(fā)布ChatGPT時高出8萬億美元。

  人工智能擴展定律的證據(jù)似乎正在瓦解。尖端系統(tǒng)已經(jīng)吸收了世界上大部分有用和可用的訓(xùn)練數(shù)據(jù)。多個人工智能實驗室在改進下一代模型方面遇到了問題。Alphabet首席執(zhí)行官皮查伊在最近的一次活動中表示,領(lǐng)先的模型已經(jīng)達到了類似的性能水平,現(xiàn)在進一步改進的難度更大了。OpenAI的奧特曼在同一場會議上表示,“沒有墻”,同時他承認(rèn),AI規(guī)模擴大帶來的更容易的收益已經(jīng)消退。

  一些研究人員希望未來的進步將來自更好的算法,而不是歷史上的暴力破解方法。一種被稱為“測試時間計算”的技術(shù)專注于增強推理過程,即客戶使用人工智能系統(tǒng)的時間。給模型額外的時間來發(fā)現(xiàn)模式或使用新的數(shù)據(jù)可能會產(chǎn)生更好的結(jié)果,也許可以讓機器把大問題分解成小問題。雖然很有希望,但與人工智能支持者一直在推動的以指數(shù)方式改進軟件的愿景相比,這是一個退步。一旦一個模型考慮了一個問題的所有可能的答案,增加更多的時間并不一定有幫助。如果人工智能系統(tǒng)耗時太長,用戶也可能會去別處尋找答案。

  經(jīng)濟放緩的傳言并未影響Alphabet、亞馬遜、Meta、微軟和英偉達的股價。一個新時代很可能會以不同的方式影響玩家。

  可以說,英偉達的損失最大。黃仁勛的公司受益于一股搶購硅片的熱潮,埃隆·馬斯克的xAI公司最近計劃建造一臺擁有100萬個圖形處理單元芯片的超級計算機,是目前已經(jīng)非常龐大的超級計算機的10倍。未來,公司可能更愿意使用更專業(yè)、更便宜的半導(dǎo)體,這將使英偉達3.3萬億美元的股權(quán)價值面臨風(fēng)險。

  OpenAI和Anthropic等模型開發(fā)商可能會感到矛盾。積極的一面是,如果他們不再需要訓(xùn)練越來越大的系統(tǒng),他們的財務(wù)報表將會受益。另一方面,人工智能規(guī)模的終結(jié)將削弱這些公司的部分樂觀理由,即OpenAI或Anthropic的專有模型將變得越來越智能,并最終取代世界上大部分現(xiàn)有的軟件。

  大型企業(yè)的情況也同樣好壞參半。好消息是,微軟的和同行們可能不再面臨眼看著競爭對手開發(fā)出一個能夠執(zhí)行任何任務(wù)的超級智能巨型模型的生存風(fēng)險。如果人工智能無限擴展,這種風(fēng)險可能是可以想象的。輸?shù)暨@場競賽將意味著錯過可能是有史以來最偉大的創(chuàng)造財富的技術(shù)。因此,雖然頭獎現(xiàn)在可能變小了,但被更強大的競爭對手碾壓的風(fēng)險也變小了。

  從這種擔(dān)憂中解脫出來后,納德拉和皮查伊可以放下油門,等待更多的收入來證明所有的支出是合理的。股東們會很高興:過去鐵路和電信行業(yè)的繁榮表明,對新技術(shù)的過度熱情是危險的。就連扎克伯格也承認(rèn),企業(yè)可能已經(jīng)過度投資了。根據(jù)研究機構(gòu)Epoch.ai的數(shù)據(jù),最大模型的計算成本每8個月翻一番,訓(xùn)練功耗每年翻一番。

  然而,資本支出軍備競賽的結(jié)束也可能意味著進入門檻的降低。如果龐大的計算能力不再是主流,那么新的初創(chuàng)公司應(yīng)該能夠以最低的成本生產(chǎn)出具有競爭力的人工智能產(chǎn)品,或許可以基于扎克伯格的Meta提供的開源模型進行設(shè)計?梢韵胂,一股新的企業(yè)軟件業(yè)務(wù)浪潮將對廣泛使用的系統(tǒng)進行調(diào)整,以服務(wù)于特定行業(yè),比如法律專業(yè)人士或編碼人員。Y Combinator是一家為剛起步的硅谷公司提供資金和孵化的公司,其中有數(shù)百家潛在的新挑戰(zhàn)者。

  無論哪家公司獲勝,如果人工智能培訓(xùn)成本停止螺旋式上升,對投資者來說可能都是一個好消息。這可能是由于最近推理的價格急劇下降,或者當(dāng)客戶使用已經(jīng)訓(xùn)練好的模型時所產(chǎn)生的費用。

  三年前,處理100萬個代幣(一個數(shù)據(jù)單位)的成本為60美元。據(jù)風(fēng)險投資公司安德森·霍洛維茨稱,現(xiàn)在的成本為6美分。成本緊縮應(yīng)該有助于采納,讓早期的進展跡象得以擴散。例如,Meta的季度廣告收入自Chatgpt之前的時期以來增長了46%,這可能是因為更好的廣告定位,而運營成本僅增長了5%。淘金熱之后的艱巨任務(wù)是證明投資回報——并證明投資者令人眼花繚亂的預(yù)期是合理的。

來源:智通財經(jīng)APP

    東治書院2024級易學(xué)文士班(第二屆)報名者必讀
    『獨賈參考』:獨特視角,洞悉商業(yè)世相。
    【耕菑草堂】巴山雜花土蜂蜜,愛家人,送親友,助養(yǎng)生
    解惑 | “格物致知”的“格”到底是什么意思?
    ❤❤❤【拙話】儒學(xué)之流變❤❤❤
    易經(jīng) | 艮卦究竟在講什么?兼斥《翦商》之荒謬
    大風(fēng)水,小風(fēng)水,風(fēng)水人
    ❤❤❤人的一生拜一位好老師太重要了❤❤❤
    如何成為一個受人尊敬的易學(xué)家?
    成功一定有道,跟著成功的人,學(xué)習(xí)成功之道。
    關(guān)注『書仙笙』:結(jié)茅深山讀仙經(jīng),擅闖人間迷煙火。
    研究報告、榜單收錄、高管收錄、品牌收錄、企業(yè)通稿、行業(yè)會務(wù)
    ★★★你有買點,我有流量,勢必點石成金!★★★