比英伟达GPU快20倍! Cerebras“出炉”全球最快AI推理解决方案

比英伟达GPU快20倍! Cerebras“出炉”全球最快AI推理解决方案

人工智能初创公司Cerebras今日宣布推出Cerebras Inference,据称是世界上最快的人工智能推理解决方案。该公司表示:“Cerebras Inference为Llama 3.18B每秒提供1800个token,为Llama 3.170B每秒提供450个token,比基于英伟达(NVDA.US)GPU的超大规模云快20倍。” Cerebras Inference由第三代晶...
62