封面往事记者 欧阳宏宇 在BAT、助推自研360 、国产高功商汤等国内企业纷纭宣告入局AI大模子之后 ,大模面向大模子磨炼的科技高功能合计需要也迎来井喷式削减。 克日 ,企业腾讯吐露自研高功能合计收集星脉高功能合计集群 。纷纭据介绍 ,加码集妄该合计集群具备3.2T通讯带宽 ,助推自研能提升40%的国产高功GPU运用率 ,节约30%~60%的大模模子磨炼老本 ,为AI大模子带来10倍通讯功能提升 。科技基于腾讯云新一代算力集群HCC,企业可反对于10万卡的纷纭超大合计规模。 不久前,加码集妄为了飞腾算力支出,助推自研OpenAI开始限流 。这眼前是通用家养智能的火发生起了AI大模子参数目级飙 。为反对于海量数据的大规模磨炼 ,需要大批效率器经由高速收集组成算力集群。国内厂商正试图经由技术的演进对于算力运用效益优化。 往年4月,阿里云也已经吐露了其高功能AI磨炼合计平台灵骏智算;上月尾,遥想高功能合计与家养智能主任技术照料郝常杰也对于外展现,在高功能合计上走凋谢融会技术道路。此外 ,华为云 、商汤 、科大讯飞在高功能合计集群上都有妄想。 不外 ,大集群不即是大算力 ,相同,GPU集群越大,发生的格外通讯斲丧越多 。好比,千亿、万亿参数规模的大模子 ,磨炼历程中通讯占比最大可达50%,传统低速收集的带宽远远无奈反对于 。同时,传统收集协议简略导致收集窒息、高延时以及丢包,而仅0.1%的收集丢包就能导致50%的算力损失 ,最终组成算力资源的严正浪费 。 处置这种下场,需要面向AI大模子打造高功能合计收集 。腾讯云副总裁王亚晨以为,大带宽 、高运用率以及零丢包的高功能收集效率,将助力突破算力瓶颈,进一步释放AI潜能 ,周全提升企业大模子的磨炼功能 |