奇異摩爾產(chǎn)品及解決方案副總裁在接受采訪時(shí)說：“大數(shù)據(jù)算力需求的參數(shù)和訓(xùn)練數(shù)據(jù)量以及Deep learning時(shí)期相比有明顯的提升。舉例GPT-3有1750億模型的參數(shù)和四十五TB的訓(xùn)練數(shù)據(jù)集，與以前相比差了10倍以上。大模型需要更大規(guī)模的計(jì)算平臺(tái)以及片上儲(chǔ)存。”�？�東在2023年國際集成電路展覽會(huì)上談到對(duì)于大模型來講是有很大挑戰(zhàn)的，主要工程方面怎樣減少算力和人工干預(yù)實(shí)現(xiàn)，畢竟要獲得高質(zhì)量高規(guī)模的算力。“盡管當(dāng)下在大力發(fā)展網(wǎng)絡(luò)仍然很難達(dá)到需求，畢竟GPT-3.5需要1萬個(gè)CPU，更不要講GPT-4、GPT-5這樣高難度的算力。
高性能計(jì)算挑戰(zhàn) �？�東講述AI發(fā)展整個(gè)歷史曲線能夠看出過去算力，需求以倍數(shù)增加，當(dāng)下指數(shù)仍然以倍數(shù)增加，大模型本身具有10倍簽約，接下來仍然會(huì)保持當(dāng)下的速度，增長超過了半導(dǎo)體可以提供的增長曲線。高性能計(jì)算領(lǐng)域更大的挑戰(zhàn)，在三個(gè)方面首先保持算力計(jì)算增加同時(shí)提高算力功能比。提升算力，功耗比的5年后算力中心會(huì)變成100,000億億字節(jié)時(shí)需要能量則是0.5個(gè)原子彈單量。另外的問題發(fā)生在儲(chǔ)存方面，儲(chǔ)存訪問占有功率越來越高，互聯(lián)網(wǎng)效率成為瓶頸，計(jì)算規(guī)模，逐漸加大單一芯片不會(huì)滿足要求，能量會(huì)消耗在互聯(lián)網(wǎng)部分。�？�東對(duì)媒體表示基于同構(gòu)與班級(jí)互聯(lián)的數(shù)據(jù)架構(gòu)是無法滿足大規(guī)模需求的。 國際巨頭思路
英偉達(dá)創(chuàng)始人黃仁勛在剛結(jié)束不久的2023GPT大會(huì)中講述了兩件事，首先是超大規(guī)模的計(jì)，使用H100、A100，將8個(gè)H100連接起來，成為超大規(guī)模引擎，足矣滿足訓(xùn)練需求。�？�東向媒體解釋“它的提升不局限于提高三倍芯片算力，以整個(gè)系統(tǒng)來講，高速級(jí)聯(lián)讓整個(gè)效率達(dá)到了從前9倍以上。”這樣的方式形成了大規(guī)模集群，將上萬個(gè)超級(jí)計(jì)算機(jī)連接，以這種形式滿足未來需求。另外是異構(gòu)計(jì)算將GPU和CPU連接在一起。