6月10日，在第五屆智源大會AI系統(tǒng)分論壇上，上海天數(shù)智芯半導(dǎo)體有限公司（以下簡稱“天數(shù)智芯”）對外宣布，在天垓100加速卡的算力集群，基于北京智源人工智能研究院（以下簡稱“智源研究院”）70億參數(shù)的Aquila語言基礎(chǔ)模型，使用代碼數(shù)據(jù)進行繼續(xù)訓(xùn)練，穩(wěn)定運行19天，模型收斂效果符合預(yù)期，證明天數(shù)智芯有支持百億級參數(shù)大模型訓(xùn)練的能力。

圖 天數(shù)智芯產(chǎn)品線總監(jiān)宋煜

在北京市海淀區(qū)的大力支持下，智源研究院、天數(shù)智芯與愛特云翔共同合作，聯(lián)手開展基于自主通用GPU的大模型CodeGen（高效編碼）項目，通過中文描述來生成可用的C、Java、Python代碼以實現(xiàn)高效編碼。智源研究院負(fù)責(zé)算法設(shè)計、訓(xùn)練框架開發(fā)、大模型的訓(xùn)練與調(diào)優(yōu)，天數(shù)智芯負(fù)責(zé)提供天垓100加速卡、構(gòu)建算力集群及全程技術(shù)支持，愛特云翔負(fù)責(zé)提供算存網(wǎng)基礎(chǔ)硬件及智能化運維服務(wù)。

圖 天數(shù)智芯大模型訓(xùn)練全棧方案

在三方的共同努力下，在基于天垓100加速卡的算力集群上，100B Tokens編程語料、70億參數(shù)量的AquilaCode大模型參數(shù)優(yōu)化工作結(jié)果顯示，1個Epoch后loss下降到0.8，訓(xùn)練速度達(dá)到87K Tokens/s，線性加速比高達(dá)95%以上。與國際主流的A100加速卡集群相比，天垓100加速卡集群的收斂效果、訓(xùn)練速度、線性加速比相當(dāng)，穩(wěn)定性更優(yōu)。在HumanEval基準(zhǔn)數(shù)據(jù)集上，以Pass@1作為評估指標(biāo)，自主算力集群訓(xùn)練出來的模型測試結(jié)果達(dá)到相近參數(shù)級別大模型的SOAT水平，在AI編程能力與國際主流GPU產(chǎn)品訓(xùn)練結(jié)果相近。

圖 基于天垓100算力集群的AquilaCode大模型訓(xùn)練性能采樣

天垓100率先完成百億級參數(shù)大模型訓(xùn)練，邁出了自主通用GPU大模型應(yīng)用的重要的一步。這一成果充分證明了天垓產(chǎn)品可以支持大模型訓(xùn)練，打通了國內(nèi)大模型創(chuàng)新發(fā)展的關(guān)鍵“堵點”，對于我國大模型自主生態(tài)建設(shè)、產(chǎn)業(yè)鏈安全保障具有十分重大的意義。

接下來，天數(shù)智芯將與合作伙伴們繼續(xù)深入合作，建設(shè)更大規(guī)模的天垓100算力集群，完成更大參數(shù)規(guī)模的大模型訓(xùn)練，以自主通用GPU產(chǎn)品更好支持國內(nèi)大模型創(chuàng)新應(yīng)用，進一步夯實我國算力基礎(chǔ)，助力人工智能產(chǎn)業(yè)自主生態(tài)建設(shè)。