AI行業的"百模大戰":工程革命背後的商業困境

上個月，AI業界掀起了一場"動物戰爭"。

一方是某科技巨頭推出的開源大語言模型,由於其開放特性,深受開發者社區歡迎。日本某公司在研究相關論文和原始碼後,迅速開發出了日語版的對話AI,解決了日本在AI領域的瓶頸問題。

另一方是名爲"獵鷹"的大模型。今年5月,"獵鷹-40B"問世,超越了前者登頂了開源大語言模型排行榜。

該榜單由一個開源模型社區制作,提供了評估大語言模型能力的標準。排行榜基本上就是兩者輪流佔據榜首。

前者推出新版本後暫時奪回榜首;但到了9月初,"獵鷹"推出了180B版本,再次獲得更高排名。

有趣的是,"獵鷹"的開發者並非科技公司,而是位於阿聯酋首都的一家研究所。政府人士表示,"我們參與這個領域是爲了顛覆核心玩家"。

180B版本發布第二天,阿聯酋人工智能部長入選了某知名雜志評選的"AI領域最具影響力的100人";與他一同入選的還有"AI教父"辛頓、某知名AI公司的CEO,以及中國某科技公司創始人。

如今,AI領域已進入羣雄逐鹿階段:只要有一定財力的國家和企業,或多或少都在打造自己的大語言模型。僅在海灣國家圈子內,就不止一個玩家——8月,沙特阿拉伯剛剛爲國內大學購買了3000多塊頂級AI芯片,用於訓練大語言模型。

一位知名投資人曾在社交平台吐槽道:"當年看不起互聯網的商業模式創新,覺得沒有壁壘:百團大戰、百車大戰、百播大戰;沒想到硬科技大模型創業,依然是百模大戰..."

號稱高難度的硬科技,怎麼就變成各國競相發展的項目了?

Transformer革命

美國的初創公司、中國的科技巨頭、中東的石油大亨能夠追逐大模型夢想,都要歸功於那篇著名的論文:《Attention Is All You Need》。

2017年,8位計算機科學家在這篇論文中,向全世界公開了Transformer算法。這篇論文目前是人工智能歷史上被引用次數第三多的論文,Transformer的出現則引發了此輪人工智能熱潮。

無論當前的大模型來自哪個國家,包括轟動世界的GPT系列,都是建立在Transformer的基礎之上。

在此之前,"教機器讀書"一直是公認的學術難題。不同於圖像識別,人類在閱讀文字時,不僅會關注當前看到的詞句,更會結合上下文來理解。

比如"Transformer"一詞其實可翻譯成"變形金剛",但本文讀者肯定不會這麼理解,因爲大家都知道這不是一篇講好萊塢電影的文章。

但早期神經網路的輸入都相互獨立,並不具備理解長篇文字、甚至整篇文章的能力,所以才會出現把"開水間"翻譯成"open water room"這種問題。

直到2014年,在某科技公司工作、後來跳槽去了另一家AI公司的計算機科學家首先取得了突破。他使用循環神經網路(RNN)來處理自然語言,使機器翻譯的性能迅速超越了競品。

RNN提出了"循環設計",讓每個神經元既接受當前時刻輸入信息,也接受上一時刻的輸入信息,進而使神經網路具備了"結合上下文"的能力。

RNN的出現點燃了學術圈的研究熱情,日後Transformer的論文作者之一也一度沉迷其中。然而開發者們很快意識到,RNN存在一個嚴重缺陷:

該算法使用了順序計算,它固然能解決上下文的問題,但運行效率並不高,很難處理大量的參數。

RNN的繁瑣設計,很快讓這位作者感到厭煩。因此從2015年開始,他和7位同好便着手開發RNN的替代品,其成果便是Transformer。

相比於RNN,Transformer的變革有兩點:

一是用位置編碼的方式取代了RNN的循環設計,從而實現了並行計算——這一改變大大提升了Transformer的訓練效率,從而變得能夠處理大數據,將AI推向了大模型時代;二是進一步加強了上下文的能力。

隨着Transformer一舉解決了衆多缺陷,它漸漸發展成了自然語言處理領域的標準方法,頗有種"開天闢地"之勢。連RNN的開創者都拋棄了親手捧上神壇的技術,轉投Transformer。

換句話說,Transformer是如今所有大模型的祖師爺,因爲它讓大模型從一個理論研究問題,變成了一個純粹的工程問題。

2019年,某AI公司基於Transformer開發出了一個大語言模型,一度驚豔了學術圈。作爲回應,另一家科技巨頭迅速推出了一個性能更強的AI,名叫Meena。

和前者相比,Meena沒有底層算法上的革新,僅僅是多了8.5倍的訓練參數、14倍的算力。Transformer論文作者對這種"暴力堆砌"大受震撼,當場寫了篇"Meena吞噬世界"的備忘錄。

Transformer的問世,讓學術界的底層算法創新速度大大放緩。數據工程、算力規模、模型架構等工程要素,日漸成爲AI競賽的重要勝負手,只要有點技術能力的科技公司,都能開發出一個大模型。

因此,計算機科學家吳恩達在斯坦福大學做演講時,便提到一個觀點:"AI是一系列工具的集合,包括監督學習、無監督學習、強化學習以及現在的生成式人工智能。所有這些都是通用技術,與電力和互聯網等其他通用技術類似。"

某AI公司固然仍是大語言模型的風向標,但半導體分析機構認爲,其最新模型的競爭力源自工程解決方案——如果開源,任何競爭對手都能迅速復現。

該分析師預計,或許用不了太久,其他大型科技公司也能打造出同等性能的大模型。

建在玻璃上的護城河

當下,"百模大戰"已不再是一種修辭手法,而是客觀現實。

相關報告顯示,截至今年7月,國內大模型數量已達130個,高於美國的114個,成功實現彎道超車,各種神話傳說已經快不夠國內科技公司取名的了。

而在中美之外,一衆較爲富裕的國家也初步實現了"一國一模":除了日本與阿聯酋,還有印度政府主導的大模型Bhashini、韓國某互聯網公司打造的HyperClova X等等。

眼前這陣仗,仿佛回到了那個漫天泡沫、"鈔能力"對轟的互聯網拓荒時代。

正如前文所說,Transformer讓大模型變成了純粹的工程問題,只要有人有錢有顯卡,剩下的就丟給參數。但入場券雖不難搞,也並不意味着人人都有機會成爲AI時代的巨頭。

開頭提到的"動物戰爭"就是個典型案例:"獵鷹"雖然在排名上力壓對手,但很難說對某科技巨頭造成了多少衝擊。

衆所周知,企業開源自身的科研成果,既是爲了與社會大衆分享科技的福祉,同樣也希望能調動起人民羣衆的智慧。隨着各個大學教授、研究機構、中小企業不斷深入使用、改進其開源模型,該公司可以將這些成果應用於自己的產品之中。

對開源大模型而言,活躍的開發者社群才是其核心競爭力。

而早在2015年組建AI實驗室時,該公司已定下了開源的主基調;其創始人又是靠社交媒體生意發的家,更是深諳於"搞好羣衆關係"這件事。

譬如在10月,該公司就專程搞了個"AI版創作者激勵"活動:使用其開源模型來解決教育、環境等社會問題的開發者,將有機會獲得50萬美金的資助。

時至今日,該公司的開源模型系列儼然已是開源大語言模型的風向標。

截至10月初,某開源模型社區的排行榜Top 10中,共有8個都是基於該開源模型所打造的,均使用了它的開源協議。僅在該社區上,使用了這一開源協議的大語言模型已經超過了1500個。

當然,像"獵鷹"一樣提高性能也未嘗不可,但時至今日,市面上大多數大語言模型仍和某知名模型有着肉眼可見的性能差距。

例如前些日子,這個知名模型就以4.41分的成績問鼎AgentBench測試頭名。AgentBench標準由清華大學與俄亥俄州立大學、加州大學伯克利分校共同推出,用於評估大語言模型在多維度開放式生成環境中的推理能力和決策能力,測試內容包括了操作系統、數據庫、知識圖譜、卡牌對戰等8個不同環境的任務。

測試結果顯示,第二名的另一個模型僅有2.77分,差距仍較爲明顯。至於那些聲勢浩大的開源大語言模型,其測試成績多在1分上下徘徊,還不到第一名的1/4。

要知道,這個知名模型發布於今年3月,這還是全球同行追趕了大半年之後的成績。而造成這種差距的,是其背後"智商密度"極高的科學家團隊與長期研究大語言模型積累下來的經驗,因此可以始終遙遙領先。

也就是說,大模型的核心能力並不是參數,而是生態的建設(開源)或純粹的推理能力(閉源)。

隨着開源社區日漸活躍,各個大語言模型的性能可能會趨同,因爲大家都在使用相似的模型架構與相似的數據集。

另一個更直觀的難題是:除了某繪圖AI,好像還沒有哪個大模型能賺到錢。

價值的錨點

今年8月,一篇題爲"某知名AI公司可能會於2024年底破產"的奇文引起了不少關注。文章主旨幾乎能用一句話概括:該公司的燒錢速度太快了。

文中提到,自從開發其知名對話模型之後,該公司的虧損正迅速擴大,僅2022年就虧了約5.4億美元,只能等着某科技巨頭投資人買單。

文章標題雖聳人聽聞,卻也講出了一衆大模型提供商的現狀:成本與收入嚴重失衡。

過於高昂的成本,導致目前依靠人工智能賺了大錢的只有某芯片公司,頂多再加個另一家芯片廠商。

據諮詢公司預估,某芯片公司在今年二季度賣出了超30萬塊其最新的AI芯片。這是一款訓練AI效率奇高的芯片,全世界的科技公司、科研機構都在搶購。如果將賣出的這30萬塊芯片疊在一起,其重量相當於4.5架波音747飛機。

該芯片公司的業績也順勢起飛,同比營收暴漲854%,一度驚掉了華爾街的下巴。順帶一提,目前這款芯片在二手市場的價格已被炒到4-5萬美金,但其物料成本僅有約3000美金出頭。

高昂的算力成本已經在某種程度上成爲了行業發展的阻力。某知名風投曾做過一筆測算:全球的科技公司每年預計將花費2000億美金,用於大模型基礎設施建設;相比之下,大模型每年最多只能產生750億美金的收入,中間存在着至少1250億美金的缺口。

另外,除了某繪圖AI等少數個例,大部分軟件公司在付出了巨大的成本後,還沒想清楚怎麼賺錢。尤其是行業的兩位帶頭大哥——某科技巨頭和某設計軟件公司都走的有些踉蹌。

某科技巨頭和某AI公司曾合作開發了一個AI代碼生成工具,雖然