
①人工智能初创公司Perplexity宣布将使用英伟达新型CPU芯片Vera,以提升人工智能代理任务的执行速度; ②英伟达曾预计其CPU芯片到本财年末的销售额达200亿美元; ③Vera专为人工智能设计,执行速度比传统CPU快1.5倍,可解决训练时间长、算力成本高等问题。
财联社7月8日讯(编辑 马兰)人工智能初创公司Perplexity周二宣布,该公司计划使用英伟达的新型CPU芯片。这将帮助英伟达撬动由英特尔和AMD等传统芯片制造商主导的CPU市场。
英伟达曾表示,预计到本财年末,其通用型Vera CPU的销售额将达到200亿美元。
与其GPU相比,Vera芯片的推出更为重要,因为OpenAI等人工智能顶尖实验室已经开始设计自己的人工智能芯片,这迫使英伟达拓展其硬件产品线。
而Vera处理器的优势在于,它是从零开始为人工智能代理时代而构建。人工智能代理是一种自主程序,可以不断编写代码、执行任务并协调复杂的工作流程,而无需像人类计算机用户那样休息。
英特尔和AMD的CPU则从笔记本电脑时代开始兴盛,实际无法完美应对人工智能代理持续不断的循环运算。
Perplexity公司负责计算机企业和基础设施的副总裁Nate Kupp表示,英伟达的CPU执行人工智能代理编码任务的速度比传统CPU快约1.5倍,这与他们核心架构完美契合。
Perplexity拒绝透露计划购买多少颗英伟达CPU。但英伟达此前曾透露,OpenAI、Anthropic和Oracle也计划使用其CPU。
英伟达在其博客中最新发表的文章指出,CPU端的执行速度变慢,将导致强化学习每个周期受到的有效评估较少,从而训练时间延长,且需要更长时间来为单个用户提供服务,并可能导致KV缓存丢失,从而增加算力成本。
而Vera的设计可以帮助解决这三个问题。英伟达称Vera CPU的核心速度提升了1.8倍,能够在相同的时间窗口内完成高达85%的评估任务,并提供更丰富的强化学习反馈,从而带来更高质量、更丰富的训练信号,缩短训练时间。
与此同时,Vera CPU在人工智能代理部署时,将主要的优化指标从纯粹的吞吐量转向严格且可预测的延迟。在保证CPU延迟稳定的情况下,服务单用户的时间将有效缩短,同等数量的GPU可以同时服务更多客户。
而针对KV缓存因GPU与CPU之间计算步骤间隔过大而被新请求刷新的问题,Vera CPU选择压缩CPU端,减少等待时间,从而缩短KV缓存面临驱逐压力的时间窗口,从而保留更多数据,并减少通过重新计算而浪费的算力。