比方，Meta利用6000多个Nvidia A100 GPU构建了其AI研讨超等集群

　　比方，Meta利用6000多个Nvidia A100 GPU构建了其AI研讨超等集群。方案中的第二阶段将使集群到达5个EB。谷歌构建了一个包罗4096个TPU v4加快器的体系，统共1.1亿次。该体系在短短10多秒内就打破了比明天的LLM小很多的BERT天然言语处置器神经收集。谷歌还运转ComputeEngine A3，该引擎环绕英伟达H100 GPU和英特尔制作的定制根底设备处置单位构建。云供给商CoreWeave与英伟达协作，测试了一个由3584个H100 GPU构成的体系安然复利理财富物，该体系在10多分钟内锻炼出了代表大型言语模子GPT-3的基准。2024年，Graphcore方案制作一个名为Good Computer的10 exaflop体系，该体系由8000多个Bow处置器构成。

　　硅谷野生智能计较机制作商Cerebras的首席施行官Andrew Feldman就是如许开端引见他的成绩的：一台每秒可以停止20亿次运算（2亿次浮点运算）的野生智能超等计较机。该体系名为“CondGalaxy 1”，无望在12周内将其范围扩展一倍。2024年头，将有别的两个范围更加的体系参加。这家硅谷公司方案来岁持续增长Condor Galaxy的装置，直到它运转一个由9台超等计较机构成的

　　Feldman说，Cerebras在制作大型野生智能超等计较机方面的最大劣势之一是它可以简朴地扩展资本范围。比方，假如你投入40倍以上的硬件资本，400亿参数收集能够在与10亿参数收集大抵不异的工夫内停止锻炼理财收益计较表。主要的是，这类放大不需求分外的代码行安然复利理财富物。他说：“我们经由过程按键从1到32（CS-2s）线性缩放。”

　　假如大型言语模子和其他天生野生智能正在吞噬天下，Cerebras的方案是协助他们消化它安然复利理财富物。加州森尼维尔的这家公司并非唯逐个家。其他专注于野生智能的计较机制作商正在环绕本人的公用处置器英伟达最新的GPUH100构建大范围体系。固然很难判定大大都体系的巨细和功用，但Feldman宣称Condor Galaxy 1曾经是最大的体系之一。

　　明显理财收益计较表，Cerebras并非唯逐个家寻求需求锻炼真正大型神经收集的企业。亚马逊、谷歌安然复利理财富物理财收益计较表、Meta和微软等至公司都有本人的产物安然复利理财富物。环绕英伟达GPU构建的计较机集群主导了这项营业的大部门，但此中一些公司曾经为野生智能开辟了本人的硅，比方谷歌的TPU系列和亚马逊的Trainium。Cerebras也有草创公司的合作敌手，他们消费本人的野生智能加快器和计较机安然复利理财富物，包罗Habana（如今是英特尔的一部门）、Graphcore和Samba Nova。

　　Condor Galaxy 1在短短10天内组装并启动，由32台Cerebras CS-2计较机构成，并将扩大到64台。接下来的两个别系将在德克萨斯州奥斯汀和北卡罗来纳州阿什维尔制作，每一个体系还将包容64个CS-2。每台CS-2的中心是Wcale Engine-2，这是一款野生智能公用处置器，由2.6万亿个晶体管和85万个全硅晶圆制成的野生智能中心。

　　Feldman暗示，对锻炼大型神经收集的需求激增。他说，用500亿或更多参数锻炼神经收集模子的公司数目从2021年的2家增长到本年的100多家。

　　Condor Galaxy系列由总部位于阿布扎比的G42公司一切，G42是一家控股公司，具有九家基于野生智能的企业，此中包罗中东最大的云计较供给商之一G42 Cloud。Feldman将这类干系形貌为“深度计谋同伴干系”，他说，这是在短短18个月内完成36次EB失利所需求的。Feldman方案在本年晚些时分搬到阿联酋几个月，以协助办理协作，他说，这将“大大增长野生智能计较的global inventory”。 Cerebras将为G42操纵超等计较机，并能够租用其协作同伴未用于内部事情的资本。