AI行业的"百模大战":工程革命背后的商业困境

上个月，AI业界掀起了一场"动物战争"。

一方是某科技巨头推出的开源大语言模型,由于其开放特性,深受开发者社区欢迎。日本某公司在研究相关论文和源代码后,迅速开发出了日语版的对话AI,解决了日本在AI领域的瓶颈问题。

另一方是名为"猎鹰"的大模型。今年5月,"猎鹰-40B"问世,超越了前者登顶了开源大语言模型排行榜。

该榜单由一个开源模型社区制作,提供了评估大语言模型能力的标准。排行榜基本上就是两者轮流占据榜首。

前者推出新版本后暂时夺回榜首;但到了9月初,"猎鹰"推出了180B版本,再次获得更高排名。

有趣的是,"猎鹰"的开发者并非科技公司,而是位于阿联酋首都的一家研究所。政府人士表示,"我们参与这个领域是为了颠覆核心玩家"。

180B版本发布第二天,阿联酋人工智能部长入选了某知名杂志评选的"AI领域最具影响力的100人";与他一同入选的还有"AI教父"辛顿、某知名AI公司的CEO,以及中国某科技公司创始人。

如今,AI领域已进入群雄逐鹿阶段:只要有一定财力的国家和企业,或多或少都在打造自己的大语言模型。仅在海湾国家圈子内,就不止一个玩家——8月,沙特阿拉伯刚刚为国内大学购买了3000多块顶级AI芯片,用于训练大语言模型。

一位知名投资人曾在社交平台吐槽道:"当年看不起互联网的商业模式创新,觉得没有壁垒:百团大战、百车大战、百播大战;没想到硬科技大模型创业,依然是百模大战..."

号称高难度的硬科技,怎么就变成各国竞相发展的项目了?

Transformer革命

美国的初创公司、中国的科技巨头、中东的石油大亨能够追逐大模型梦想,都要归功于那篇著名的论文:《Attention Is All You Need》。

2017年,8位计算机科学家在这篇论文中,向全世界公开了Transformer算法。这篇论文目前是人工智能历史上被引用次数第三多的论文,Transformer的出现则引发了此轮人工智能热潮。

无论当前的大模型来自哪个国家,包括轰动世界的GPT系列,都是建立在Transformer的基础之上。

在此之前,"教机器读书"一直是公认的学术难题。不同于图像识别,人类在阅读文字时,不仅会关注当前看到的词句,更会结合上下文来理解。

比如"Transformer"一词其实可翻译成"变形金刚",但本文读者肯定不会这么理解,因为大家都知道这不是一篇讲好莱坞电影的文章。

但早期神经网络的输入都相互独立,并不具备理解长篇文字、甚至整篇文章的能力,所以才会出现把"开水间"翻译成"open water room"这种问题。

直到2014年,在某科技公司工作、后来跳槽去了另一家AI公司的计算机科学家首先取得了突破。他使用循环神经网络(RNN)来处理自然语言,使机器翻译的性能迅速超越了竞品。

RNN提出了"循环设计",让每个神经元既接受当前时刻输入信息,也接受上一时刻的输入信息,进而使神经网络具备了"结合上下文"的能力。

RNN的出现点燃了学术圈的研究热情,日后Transformer的论文作者之一也一度沉迷其中。然而开发者们很快意识到,RNN存在一个严重缺陷:

该算法使用了顺序计算,它固然能解决上下文的问题,但运行效率并不高,很难处理大量的参数。

RNN的繁琐设计,很快让这位作者感到厌烦。因此从2015年开始,他和7位同好便着手开发RNN的替代品,其成果便是Transformer。

相比于RNN,Transformer的变革有两点:

一是用位置编码的方式取代了RNN的循环设计,从而实现了并行计算——这一改变大大提升了Transformer的训练效率,从而变得能够处理大数据,将AI推向了大模型时代;二是进一步加强了上下文的能力。

随着Transformer一举解决了众多缺陷,它渐渐发展成了自然语言处理领域的标准方法,颇有种"开天辟地"之势。连RNN的开创者都抛弃了亲手捧上神坛的技术,转投Transformer。

换句话说,Transformer是如今所有大模型的祖师爷,因为它让大模型从一个理论研究问题,变成了一个纯粹的工程问题。

2019年,某AI公司基于Transformer开发出了一个大语言模型,一度惊艳了学术圈。作为回应,另一家科技巨头迅速推出了一个性能更强的AI,名叫Meena。

和前者相比,Meena没有底层算法上的革新,仅仅是多了8.5倍的训练参数、14倍的算力。Transformer论文作者对这种"暴力堆砌"大受震撼,当场写了篇"Meena吞噬世界"的备忘录。

Transformer的问世,让学术界的底层算法创新速度大大放缓。数据工程、算力规模、模型架构等工程要素,日渐成为AI竞赛的重要胜负手,只要有点技术能力的科技公司,都能开发出一个大模型。

因此,计算机科学家吴恩达在斯坦福大学做演讲时,便提到一个观点:"AI是一系列工具的集合,包括监督学习、无监督学习、强化学习以及现在的生成式人工智能。所有这些都是通用技术,与电力和互联网等其他通用技术类似。"

某AI公司固然仍是大语言模型的风向标,但半导体分析机构认为,其最新模型的竞争力源自工程解决方案——如果开源,任何竞争对手都能迅速复现。

该分析师预计,或许用不了太久,其他大型科技公司也能打造出同等性能的大模型。

建在玻璃上的护城河

当下,"百模大战"已不再是一种修辞手法,而是客观现实。

相关报告显示,截至今年7月,国内大模型数量已达130个,高于美国的114个,成功实现弯道超车,各种神话传说已经快不够国内科技公司取名的了。

而在中美之外,一众较为富裕的国家也初步实现了"一国一模":除了日本与阿联酋,还有印度政府主导的大模型Bhashini、韩国某互联网公司打造的HyperClova X等等。

眼前这阵仗,仿佛回到了那个漫天泡沫、"钞能力"对轰的互联网拓荒时代。

正如前文所说,Transformer让大模型变成了纯粹的工程问题,只要有人有钱有显卡,剩下的就丢给参数。但入场券虽不难搞,也并不意味着人人都有机会成为AI时代的巨头。

开头提到的"动物战争"就是个典型案例:"猎鹰"虽然在排名上力压对手,但很难说对某科技巨头造成了多少冲击。

众所周知,企业开源自身的科研成果,既是为了与社会大众分享科技的福祉,同样也希望能调动起人民群众的智慧。随着各个大学教授、研究机构、中小企业不断深入使用、改进其开源模型,该公司可以将这些成果应用于自己的产品之中。

对开源大模型而言,活跃的开发者社群才是其核心竞争力。

而早在2015年组建AI实验室时,该公司已定下了开源的主基调;其创始人又是靠社交媒体生意发的家,更是深谙于"搞好群众关系"这件事。

譬如在10月,该公司就专程搞了个"AI版创作者激励"活动:使用其开源模型来解决教育、环境等社会问题的开发者,将有机会获得50万美金的资助。

时至今日,该公司的开源模型系列俨然已是开源大语言模型的风向标。

截至10月初,某开源模型社区的排行榜Top 10中,共有8个都是基于该开源模型所打造的,均使用了它的开源协议。仅在该社区上,使用了这一开源协议的大语言模型已经超过了1500个。

当然,像"猎鹰"一样提高性能也未尝不可,但时至今日,市面上大多数大语言模型仍和某知名模型有着肉眼可见的性能差距。

例如前些日子,这个知名模型就以4.41分的成绩问鼎AgentBench测试头名。AgentBench标准由清华大学与俄亥俄州立大学、加州大学伯克利分校共同推出,用于评估大语言模型在多维度开放式生成环境中的推理能力和决策能力,测试内容包括了操作系统、数据库、知识图谱、卡牌对战等8个不同环境的任务。

测试结果显示,第二名的另一个模型仅有2.77分,差距仍较为明显。至于那些声势浩大的开源大语言模型,其测试成绩多在1分上下徘徊,还不到第一名的1/4。

要知道,这个知名模型发布于今年3月,这还是全球同行追赶了大半年之后的成绩。而造成这种差距的,是其背后"智商密度"极高的科学家团队与长期研究大语言模型积累下来的经验,因此可以始终遥遥领先。

也就是说,大模型的核心能力并不是参数,而是生态的建设(开源)或纯粹的推理能力(闭源)。

随着开源社区日渐活跃,各个大语言模型的性能可能会趋同,因为大家都在使用相似的模型架构与相似的数据集。

另一个更直观的难题是:除了某绘图AI,好像还没有哪个大模型能赚到钱。

价值的锚点

今年8月,一篇题为"某知名AI公司可能会于2024年底破产"的奇文引起了不少关注。文章主旨几乎能用一句话概括:该公司的烧钱速度太快了。

文中提到,自从开发其知名对话模型之后,该公司的亏损正迅速扩大,仅2022年就亏了约5.4亿美元,只能等着某科技巨头投资人买单。

文章标题虽耸人听闻,却也讲出了一众大模型提供商的现状:成本与收入严重失衡。

过于高昂的成本,导致目前依靠人工智能赚了大钱的只有某芯片公司,顶多再加个另一家芯片厂商。

据咨询公司预估,某芯片公司在今年二季度卖出了超30万块其最新的AI芯片。这是一款训练AI效率奇高的芯片,全世界的科技公司、科研机构都在抢购。如果将卖出的这30万块芯片叠在一起,其重量相当于4.5架波音747飞机。

该芯片公司的业绩也顺势起飞,同比营收暴涨854%,一度惊掉了华尔街的下巴。顺带一提,目前这款芯片在二手市场的价格已被炒到4-5万美金,但其物料成本仅有约3000美金出头。

高昂的算力成本已经在某种程度上成为了行业发展的阻力。某知名风投曾做过一笔测算:全球的科技公司每年预计将花费2000亿美金,用于大模型基础设施建设;相比之下,大模型每年最多只能产生750亿美金的收入,中间存在着至少1250亿美金的缺口。

另外,除了某绘图AI等少数个例,大部分软件公司在付出了巨大的成本后,还没想清楚怎么赚钱。尤其是行业的两位带头大哥——某科技巨头和某设计软件公司都走的有些踉跄。

某科技巨头和某AI公司曾合作开发了一个AI代码生成工具,虽然