您将认为将来每个人都能成为程序员?
“我们正处于AI的‘iPhone时刻’。”在GTC讲座期间,长达78分钟,NVIDIA(英伟达)的创始人、首席执行官*仁勋曾先后3次提出过这种看法。
就在有业内人士感叹奔着GPT4训练要有巨额资金成本扶持的时候,英伟达亲自赶到炸场。这不仅是因为其产品本身具有强大优势,更因为它将帮助企业在最短的时间内开发出一款真正能满足客户需求的新产品。针对到目前为止有史以来用户数量发展最迅速的应用程序ChatGPT,英伟达推出包含硬件迭代与云服务在内的系列结合,其核心宗旨之一,是为了加快运算速度、大大降低了成本。
(ChatGPT是迄今历史上用户数量增长最快的应用,图源:英伟达发布会现场展示)
*仁勋说,与ChatGPT大型语言模型(LLM)相似的部署是全新推理工作的重要载荷,以支持这种模型推理,英伟达发布一款新GPU,是带有双GPUNVLink的HNVL。“在计算性能上,我们使用了两个高性能处理器进行并行加速。”同时基于NVIDIAHopper架构的H配有一个Transformer引擎,就是为了应对驱动ChatGPT相似的模式,与GPT3加工用HGXA比较,标配四对H和双GPUNVLink的服务器,最高速度可达10倍。此外还介绍了如何通过在计算节点上增加额外资源来提高其性能。“H可以将大型语言模型的处理成本降低一个数量级。”他介绍说,“我们已经开发了一种新型算法,该算法能在大规模数据中实现并行化求解。”他接着说。
为何AI变革的过程中GPU显得格外重要?这句话来自AI大模型的训练过程中,基础设施需求为大规模并行计算,这是GPU相对于CPU(串行运算为主)等其他类型计算芯片的显着优势。当然在进行计算时,还需要相应匹配高速数据存储,光模块等、通信和其他一系列功能。
其中,要求英伟达最强烈。在2月公布最新表现的时候,*仁勋就曾表示:“AI正处于一个拐点,从初创企业到大型企业,我们看到生成式AI的多功能性和能力让全球企业感受到开发和部署AI战略的急迫性。”也就成了当时业绩交流的一个中心关键词。
3月21日晚发言时,他又提到了这一点并指出,“生成式AI是一种新型计算机,一种我们可以用人类语言进行编程的计算机,与PC、互联网、移动设备和云类似,每个人都可以命令计算机来解决问题,现在每个人都可以是程序员。”
*仁勋说生成式AI就是一种新的计算机,其来源:英伟达的发布会现场
由英伟达与一众伙伴力主,对于前两日仍在热议的“GPT将替代什么专业”话题,好像也没这么麻烦。
算力账单等
首先来看一下在此次炸场前使用英伟达GPU产品布署一个GPT训练所需的力量。
CINNOResearch半导体事业部总经理ElvisHsu对21世纪经济报道记者分析,年是ChatGPT元年,组成人工智能的3个主要因素是:数据,算法和算力,其中,尤以对芯片进行算力的研究最为关键。在芯片设计领域,模型训练方法被视为影响未来芯片性能提升的重要因素之一。由于模型训练参数量的使用与算力成正相关,ChatGPT在不断升级的过程,它的参数使用量的增长幅度不能说是很小,投入的经费自然直线上升。每次模型训练都需要几百万至几千万美金,在硬件和云计算服务价格都在发生变化的情况下。
(GPT3论文概要,其参数使用量为亿,图源:OpenAI