深度丨昂贵的ChatGPT背后

做 者丨江月

编 辑丨陶力

当人们惊讶于ChatGPT的伶俐时，不要忽略它的高贵。那款应用的走红，正把科技投资推向更高的山岳，资金和智力还要更集中地涌向GPU等硬件赛道。因为大模子持续迭代晋级、应用加速延伸以及云办事器急需扩容，AI芯片的掘金人正在聚集。

2月9日，21世纪经济报导记者在采访中领会到，ChatGPT的爆火令AI芯片开发者意识到，性能合作还将向进一步白热化开展，“高贵”的烙印越打越深，大语言模子的单次迭代硬件成本在打破*000万人民币程度后，还在向更高攀爬。在市场格局方面，狂热的市场可能会令海外垄断进一步加剧。

亦有国产GPU创业人士向记者暗示，国产通用型GPU开发仍在继续，并希望借助此次财产链协同实现打破。

AI芯片加速研发

2022年11月*0日上线的ChatGPT，于短短两个月内获得1亿用户，是芯片范畴在202*年面对的第一个重要课题。记者从多家国产运算芯片开发商处领会到，芯片研发者正高度存眷ChatGPT的市场吸引力，很多公司将其做为研究课题组织专门研究，以求及时掌握相关商机。

“ChatGPT应该是基于GPT-*下一代模子，也就是市道上传说风闻的GPT-*.5推出的。”在一家出名国产GPU开发商担任产物司理的陆明向21世纪经济报导记者介绍，他近期努力于对ChatGPT的课题研究。

芯片研发商存眷ChatGPT，既因为那可能会改动产物定义，也因为预期市场对AI芯片的采购会迎来增量。据介绍，ChatGPT的背后模子是GPT(Generative Pre-Training，生成式预训练模子)，GPT那个名字展示了那款模子偏向“生成文本和代码”的属性。陆明指出，GPT至今已经公开了三次迭代，期间，因为GPU芯片的飞速开展，三次迭代之间具有“时间短、性能增速快”的特点。

细数之下，第一代GPT-1降生于2018年*月，训练参数量为1.2亿个，数据库规模为5GB；仅时隔半年之后，第二代GPT-2降生于2019年2月，训练参数量为15亿个，数据库规模为40GB；第三代GPT-*降生于2020年5月，训练参数量飞跃至1750亿个，数据库规模到达45TB。能够看到，第三代模子较第二代的训练参数增长超越100倍，数据库规模则增长超越1000倍。

近年来，从AI标的目的切入GPU开发，成为了很多中外创业者的选择。无论是在美国仍是中国市场，创业型GPU开发商往往能成为本钱的宠儿。不外，因为科技巨头自从去年第四时度起头财政表示下滑，硬件行业投资也随之降温。不外202*年伊始，ChatGPT又给行业带来了新的话题。

眼下，ChatGPT的爆火正呼唤更强性能GPU的面世，而那将促使资金加快流入行业。“下一代大模子的参数量和数据库规模，还将比上一代实现百倍、千倍的晋级，那意味着若是底层的芯片性能行步不前，就会令训练时长长达几年，但显然业内需要在半年或一年内就推出下一代更强的模子。”陆明称。

巨头林立成本昂扬

眼下，无论是大语言模子开发仍是底层芯片供给，市场支流玩家仍然是国际巨头。为了在格局演变中争夺优势地位，巨头公司的“烧钱”游戏越来越旺。

21世纪经济报导记者从接近美国GPU龙头开发商英伟达的人士领会到，该公司恰是当前全球支流大语言模子开发者的次要芯片供给商。

“英伟达正向全球支流的人工智能算法开发商供给芯片硬件，包罗微软、谷歌、Meta等。产物迭代也在有序停止中，去年推出了最新的数据中心芯片，改善了架构。”上述人士称。

近期，科技巨头争相涌入ChatGPT的合作中，硝烟四起，但在上述人士眼中，眼下人工智能研究市场上的各大巨头此前维持着“强合做”关系。以在外界眼中正在“打架”的谷歌和微软为例，两者事实上都基于谷歌的Transformer架构停止大模子开发。“不外在差别性的应用展开后，合作可能会晋级。”该人士评价称。

想要留在ChatGPT战场上，意味着更大规模的“烧钱”。据业内预算，大语言模子的单次训练硬件成本已经打破*000万元人民币，加上投入的人力、智力、训练时间成本，各大巨头需要筹办百亿美圆，曲到实正的市场赢家胜出。

据Lambda Labs首席科学官Chuan Li介绍，拥有1750亿个参数的GPT-*因其庞大的每秒浮点计算量，单次训练成本到达4*0万美圆。陆明也向记者证明，眼下最支流的英伟达A100芯片，单次训练的利用量应到达数百片，成本在*000万元人民币摆布。此外，办事器扩容和硬件晋级的成本也将占据相当大的比例，一方面，“自从2月7日起头，ChatGPT因拜候量庞大，回复速度已经大大减慢”，另一方面，“维护GPU芯片的成本也十分高，芯片利用是有寿命的，损耗几次就要另做他用。”陆明称。

以上还仅仅是大语言模子训练的非人工成本，更大的成本集中在人力上。“迭代模子的间隔已经缩短到半年，招募人才、改善算法的投资会持续昂扬。”陆明称。

本年1月2*日，微软颁布发表将向ChatGPT开发商OpenAI逃加数百亿美圆的投资，令人们觉得那些资金将涌向语言类机器人。不外，OpenAI不只是ChatGPT的开发商，旗下也拥有图形人工智能"明星"产物DALL·E。业内相信，微软将分数年、数批向ChatGPT停止后续投资，但那个范畴的“弹药”储蓄提拔到百亿美圆已是不争事实。

中国玩家若何参与

短短几日，多家中国公司颁布发表参加ChatGPT战场。

中国的自主研发芯片将面对如何的时机？市场阐发认为，国产运算类芯片仍然面对严峻的开展阻遏，但贸易化前景得到进一步验证，仍是芯片开发者的“好动静”。

很多市场阐发认为，中国互联网公司拥有海量数据，那是停止天然语言开发的优势。不外，关心中国科技自主立异的人士有更强烈的心声：等待那个“科技爆点”在中国构成更长的财产链闭环。

海银本钱开创合伙人王煜全在2月7日发声称，中国不只需要产生自主“大模子”，也应当在人工智能吉印通行芯片手艺的“弯道超车”。

数位处置国产GPU开发的人士向21世纪经济报导记者暗示，在ChatGPT爆火的初步，国外芯片开发商仍然具有庞大的优势，而中国芯片开发商面对着庞大的阻力，那是由汗青手艺积淀、市场关系和外部情况配合形成的。

不外，王煜全认为，在系统芯片异构计算时代，可以号召拥有数据的机构参与预训练，然后与拥有芯片计算架构的公司深度合做，如许芯片的造造程度未必是更好，但芯片训练的模子是更好的。他在采访中建议，芯片企业、人工智能企业和应用企业三方应加强合做。

那意味着，身处人工智能落地的庞大市场、拥有本土算法公司的财产链收集，国产芯片厂商仍拥有AI芯片的入场券。

（应受访者要求，陆明为化名）

E N D

本期编纂 林海铭 练习生向添雨

21君荐读

ChatGPT火出圈：

AI怎么看AI？我们和ChatGPT聊了聊

若是ChatGPT进入金融圈，最有可能会在哪些岗位？

深交所告急发函！ChatGPT成多公司翻身密码？

入局人机对话，腾讯、阿里、华为通盘出手！

出名电商颁布发表入局ChatGPT，股价飙涨124%

ChatGPT爆火，翻倍牛股告急通知布告！

ChatGPT已引起监管警觉

ChatGPT风口A股镜像

ChatGPT兴起AI醒觉，财产倾覆本钱扰动

ChatGPT商标被多个公司抢注

“目前处于内测阶段”，阿里确认