AI業界の「百模大戦」: エンジニアリング革命の背後にあるビジネスのジレンマ

先月、AI業界で「動物戦争」が巻き起こりました。

一方はあるテクノロジーの巨人が発表したオープンソースの大規模言語モデルで、そのオープンな特性から開発者コミュニティに非常に人気があります。日本のある企業は関連する論文やソースコードを研究した後、すぐに日本語版の対話AIを開発し、日本におけるAI分野のボトルネック問題を解決しました。

もう一方は「ファルコン」という名前の大規模モデルです。今年の5月に「ファルコン-40B」が登場し、前者を超えてオープンソースの大規模言語モデルランキングのトップに立ちました。

このランキングはオープンソースモデルコミュニティによって作成されており、大規模言語モデルの能力を評価する基準を提供しています。ランキングは基本的に二者が交互に首位を占めています。

前者が新バージョンをリリースした後、一時的に首位を奪回しました。しかし、9月初旬に「ハヤブサ」が180Bバージョンをリリースし、再びより高いランキングを獲得しました。

興味深いことに、「ファルコン」の開発者はテクノロジー企業ではなく、アラブ首長国連邦の首都にある研究所です。政府関係者は、「私たちはこの分野に参加することでコアプレイヤーを覆すためです」と述べています。

180Bバージョンのリリースから2日目、アラブ首長国連邦の人工知能大臣がある著名な雑誌が選定した「AI分野で最も影響力のある100人」に選ばれた。彼と共に選ばれたのは「AIの父」ヒントン、ある有名なAI会社のCEO、そして中国のあるテクノロジー会社の創業者である。

現在、AI分野は群雄割拠の段階に入りました: 一定の財力を持つ国や企業は、多少なりとも自分たちの大規模言語モデルを構築しています。湾岸諸国の中でも、プレイヤーは一つではありません——8月、サウジアラビアは国内の大学のために3000枚以上のトップクラスのAIチップを購入し、大規模言語モデルの訓練に使用しています。

著名な投資家がソーシャルプラットフォームで不満を述べました:"かつてインターネットのビジネスモデルの革新を軽視し、バリアがないと思っていた:百団戦、百車戦、百放送戦;ハードテクノロジーの大規模モデルの起業が、依然として百モデル戦争であるとは思いもしなかった..."

高難度のハードテクノロジーと称されているものが、なぜ各国が競って開発するプロジェクトになったのか？

トランスフォーマー革命

アメリカのスタートアップ、中国のテクノロジー大手、中東の石油王が大規模モデルの夢を追い求めることができるのは、あの有名な論文《Attention Is All You Need》のおかげです。

2017年、8人のコンピュータ科学者がこの論文で、世界に向けてTransformerアルゴリズムを公開しました。この論文は現在、人工知能の歴史の中で引用される回数が三番目に多い論文であり、Transformerの登場はこの人工知能ブームを引き起こしました。

現在の大規模モデルがどの国から来ているかに関係なく、世界を驚かせたGPTシリーズを含め、すべてはTransformerの基礎の上に構築されています。

それ以前は、「機械に読書を教える」ことは公認の学問的難題でした。画像認識とは異なり、人間は文字を読む際に、現在見ている言葉や文に注意を払うだけでなく、文脈を組み合わせて理解します。

例えば「Transformer」という言葉は「変形金剛」と翻訳できますが、この記事の読者は間違いなくそうは理解しないでしょう。なぜなら、誰もがこれはハリウッド映画についての文章ではないことを知っているからです。

しかし、初期のニューラルネットワークの入力は互いに独立しており、長文や文章全体を理解する能力を持っていなかったため、「开水间」を「open water room」と翻訳するという問題が発生しました。

2014年まで、あるテクノロジー企業で働いていた後、別のAI企業に転職したコンピュータ科学者が最初に突破口を開きました。彼はループ神経ネットワーク(RNN)を用いて自然言語を処理し、機械翻訳の性能を競合製品を迅速に超えさせました。

RNNは「循環設計」を提案し、各ニューロンが現在の時間の入力情報を受け取るだけでなく、前の時間の入力情報も受け取ることができるようにし、神経ネットワークに「文脈を結合する」能力を与えました。

RNNの登場は学術界の研究熱を引き起こし、その後Transformerの論文の著者の一人も一時はその中に夢中になっていました。しかし開発者たちはすぐにRNNに深刻な欠陥があることに気づきました:

このアルゴリズムは逐次計算を使用しており、文脈の問題を解決できますが、実行効率は高くなく、大量のパラメータを処理するのは難しいです。

RNNの煩雑な設計は、この著者をすぐに飽きさせました。そこで2015年から、彼と7人の仲間はRNNの代替品の開発に着手し、その成果がTransformerです。

RNNと比較して、Transformerの革新には2つの点があります:

一つは、位置エンコーディングを使用することでRNNの循環設計を置き換え、並列計算を実現したことです。この変更により、Transformerのトレーニング効率が大幅に向上し、大規模データを処理できるようになり、AIを大規模モデル時代へと導きました。二つ目は、文脈の能力をさらに強化したことです。

Transformerは多くの欠陥を一挙に解決し、自然言語処理の分野で標準的な手法へと発展していきました。まさに「天地創造」の勢いです。RNNの創始者さえも、自らが持ち上げた技術を捨て、Transformerに転向しました。

言い換えれば、Transformerは現在のすべての大規模モデルの祖先であり、それは大規模モデルを理論研究の問題から純粋なエンジニアリングの問題に変えました。

2019年、あるAI企業がTransformerに基づいて大規模言語モデルを開発し、一時学術界を驚かせました。それに対抗する形で、別のテクノロジー大手がより強力なAIを迅速に発表し、その名はMeenaです。

前者と比較して、Meenaには基盤となるアルゴリズムの革新がなく、単に8.5倍のトレーニングパラメータと14倍の計算能力が追加されただけである。Transformer論文の著者は、この"暴力的な積み重ね"に衝撃を受け、その場で"Meenaが世界を飲み込む"というメモを執筆した。

Transformerの登場により、学術界の基盤アルゴリズムの革新速度が大幅に遅くなった。データエンジニアリング、計算能力の規模、モデルアーキテクチャなどのエンジニアリング要素が、AI競争の重要な勝敗の要因となってきており、少しでも技術力のあるテクノロジー企業は、大規模なモデルを開発することができる。

したがって、コンピュータ科学者のアンドリュー・ンがスタンフォード大学で講演を行った際に、次のような見解を述べました："AIは一連のツールの集合であり、監視学習、非監視学習、強化学習、そして現在の生成的人工知能を含みます。これらすべては汎用技術であり、電力やインターネットなどの他の汎用技術と類似しています。"

あるAI企業は確かに大規模言語モデルの指標ですが、半導体分析機関はその最新モデルの競争力がエンジニアリングソリューションに起因すると考えています——もしオープンソースになれば、どの競合他社でも迅速に再現できるでしょう。

このアナリストは、他の大手テクノロジー企業も同等の性能を持つ大規模モデルを作り出すのに、それほど時間はかからないだろうと予測しています。

ガラスの上に建てられた防壁

現在、「百模大戦」はもはや修辞技法ではなく、客観的現実です。

関連報告によると、今年の7月時点で国内の大規模モデルの数は130に達し、アメリカの114を上回り、成功裏にカーブを超えました。さまざまな神話や伝説が国内のテクノロジー企業の名称に足りなくなっています。

そして中米以外にも、比較的裕福な国々が初めて「一国一モデル」を実現しました。日本やアラブ首長国連邦の他に、インド政府主導の大規模モデルBhashini、韓国のあるインターネット企業が開発したHyperClova Xなどもあります。

目の前のこの光景は、まるでバブルの時代、"お金の力"が激しくぶつかり合っていたインターネットの開拓時代に戻ったかのようだ。

前述のように、Transformerは大規模モデルを純粋なエンジニアリングの問題に変えました。誰かが資金とGPUを持っていれば、残りはパラメータに任せればいいのです。しかし、入場券は手に入れやすいとはいえ、誰もがAI時代の巨頭になる機会があるわけではありません。

冒頭に挙げられた「動物戦争」は典型的な例です。「ハヤブサ」はランキングでは対戦相手を圧倒していますが、ある技術巨頭にどれだけの影響を与えたかは難しいところです。

広く知られているように、企業が自らの研究成果をオープンソース化することは、社会全体と技術の恩恵を共有するためだけでなく、人々の知恵を引き出すことを望んでいるからでもあります。各大学の教授、研究機関、中小企業がオープンソースモデルの使用を深め、改善を進める中、その企業はこれらの成果を自社の製品に適用することができます。

オープンソースの大規模モデルにとって、活発な開発者コミュニティこそがその核心競争力である。

そして2015年にAIラボを設立した際、同社はオープンソースの基本方針を定めていました; その創業者はソーシャルメディアビジネスで成功を収めており、"良好な公共関係を築く"ことに深い理解を持っています。

例えば、10月にその会社は特別に「AI版クリエイターインセンティブ」イベントを開催しました: オープンソースモデルを使用して教育、環境などの社会問題を解決する開発者には、50万ドルの資金提供の機会があります。

今日に至るまで、同社のオープンソースモデルシリーズは、オープンソースの大規模言語モデルの指針となっています。

10月初現在、あるオープンソースモデルコミュニティのランキングTop 10の中で、8つはこのオープンソースモデルを基に作られており、すべてそのオープンソースライセンスを使用しています。このコミュニティだけで、このオープンソースライセンスを使用した大規模言語モデルは1500以上を超えています。

もちろん、「ファルコン」のように性能を向上させることも悪くはありませんが、今日に至るまで、市場に出回っているほとんどの大規模言語モデルは、ある有名なモデルと目に見える性能差が依然としてあります。

例えば、先日この有名なモデルが4.41点の成績でAgentBenchテストのトップに立ちました。AgentBench基準は、清華大学とオハイオ州立大学、カリフォルニア大学バークレー校によって共同で発表され、大規模言語モデルの多次元オープン生成環境における推論能力と意思決定能力を評価するために使用されます。テスト内容には、オペレーティングシステム、データベース、知識グラフ、カードバトルなど8つの異なる環境のタスクが含まれています。

テスト結果は、2位の別のモデルがわずか2.77点であり、差は依然としてかなり明らかであることを示しています。大規模なオープンソース言語モデルについては、そのテストスコアは1点前後をさまよっており、1位の1/4にも達していません。

知っておくべきことは、この有名なモデルが今年の3月に発表されたことであり、これは世界中の同業者が半年以上追いつこうとした成果です。この差を生じさせたのは、その背後にいる"知能密度"の非常に高い科学者チームと、大規模言語モデルの研究における長年の経験の蓄積であり、そのため常に遥かに先行しています。

つまり、大規模モデルの核心能力はパラメータではなく、エコシステムの構築(オープンソース)または純粋な推論能力(クローズドソース)です。

オープンソースコミュニティがますます活発になるにつれて、さまざまな大規模言語モデルの性能は類似してくる可能性があります。なぜなら、皆が似たようなモデルアーキテクチャと似たようなデータセットを使用しているからです。

もう一つのより直感的な問題は、ある描画AIを除いて、どの大規模モデルもお金を稼げていないように見えることです。

価値のアンカーポイント

今年8月、"ある有名なAI企業が2024年末に破産する可能性がある"というタイトルの奇妙な記事が注目を集めました。記事の主旨はほぼ一言で要約できます:その企業の資金消耗の速さがあまりにも早すぎる。

文中では、著名な対話モデルを開発して以来、同社の損失が急速に拡大しており、2022年だけで約5.4億ドルの損失を計上し、あるテクノロジー大手の投資家が支払うのを待つしかないと述べています。

記事のタイトルは衝撃的ですが、多くの大規模モデル提供者の現状を語っています: コストと収入のバランスが深刻に崩れています。

過度に高いコストのため、現在AIに依存して大きな利益を上げているのはある半導体会社だけで、せいぜいもう一つの半導体メーカーが加わるかどうかです。

コンサルティング会社の予測によると、ある半導体会社は今年の第2四半期に最新のAIチップを30万個以上販売しました。これはAIのトレーニング効率が非常に高いチップであり、世界中のテクノロジー企業や研究機関がこぞって購入しています。販売された30万個のチップを重ねると、その重量は4.5機のボーイング747に相当します。

このチップ会社の業績も勢いを受けて急上昇し、前年同期比で売上が854%も増加し、一時はウォールストリートを驚かせました。ちなみに、現在このチップは中古市場で4-5万ドルにまで価格が高騰していますが、その材料コストは約3000ドルを少し超えるだけです。

高い算力コストは、ある程度、業界の発展に対する障害となっています。ある有名なベンチャーキャピタルが計算を行ったところ、世界のテクノロジー企業は毎年2,000億ドルを大規模モデルのインフラ構築に費やすと予測しています。それに対し、大規模モデルは毎年最大で750億ドルの収入しか生み出せず、その間には少なくとも1,250億ドルのギャップがあります。

また、特定の描画AIなどの少数の例を除いて、ほとんどのソフトウェア会社は巨額のコストをかけた後、まだ収益化の方法を考えついていません。特に業界の二人のリーダーである某テクノロジー巨人と某デザインソフトウェア会社は、少しつまずいています。

あるテクノロジー大手とあるAI会社がAIコード生成ツールを共同開発したが、