北京2022年2月16日 /美通社/ -- 2022 ASC世界大學生超級計算機競賽（ASC22）已進入預賽階段。來自全球各地的300多支參賽隊伍正在挑戰(zhàn)一道人工智能難題 -- AI語言大模型。組委會提供了100GB高質(zhì)量中文數(shù)據(jù)集，要求參賽隊基于此數(shù)據(jù)集實現(xiàn)一個47億參數(shù)的“源”AI語言大模型，以此激發(fā)參賽大學生對自然語言處理的興趣與創(chuàng)造力，激勵他們向這一人工智能“皇冠上的明珠”發(fā)起沖擊。
AI大模型以其優(yōu)秀的精度表現(xiàn)以及在應用中較高的智能化水平，成為了當今人工智能研究的熱點。李飛飛教授聯(lián)名發(fā)表的論文中提出，AI大模型的意義在于突現(xiàn)和均質(zhì)，突現(xiàn)意味著通過大模型隱含的知識和推納可帶來讓人振奮的科學創(chuàng)新靈感，而均質(zhì)則表示大量模型可以為諸多應用任務(wù)泛化支持提供統(tǒng)一強大的算法支撐。
過去一年中，AI大模型領(lǐng)域涌現(xiàn)出了一批優(yōu)秀成果，如“源1.0”、“威震天·圖靈”。這些大模型不但能勝任傳統(tǒng)的自然語言處理任務(wù)，還會寫詩、編程、寫小說、寫論文摘要等等，在醫(yī)療、金融、零售、氣象、新聞傳播、文學藝術(shù)等領(lǐng)域表現(xiàn)出了廣闊的應用前景。
雖然大模型擁有巨大的發(fā)展?jié)摿蛻们熬?，但同樣面臨著算力挑戰(zhàn)。以“源”為例，其采用2128顆加速器訓練了16天，算力開銷巨大。于是，分布式訓練性能優(yōu)化成為大模型研究的重要方向。
ASC22組委會提供了100GB高質(zhì)量中文數(shù)據(jù)集，要求參賽隊基于這一數(shù)據(jù)集實現(xiàn)一個47億參數(shù)的“源”AI語言大模型。但是，組委會并未提供大模型設(shè)計的參考代碼。這就意味著參賽隊需要從零開始，自行完成模型結(jié)構(gòu)構(gòu)建和全部訓練過程，并合理設(shè)計模型訓練策略，以期得到最佳的計算性能。因此，這道賽題也變得更具挑戰(zhàn)性：在追求極致性能的同時，還要滿足精度約束，這也是在實際大模型研發(fā)中，行業(yè)人士經(jīng)常會面臨的關(guān)鍵問題。
正如ASC發(fā)起人、中國工程院院士王恩東所說，隨著人工智能與算力的完美融合，計算正在向智算演變，可能讓下一代超級計算機成為超級智算機，它不僅是計算性能的數(shù)量級躍升，同時也能更好地集成機器學習和物理建模。因此，ASC22將自然語言處理這個高性能計算和人工智能完美結(jié)合的前沿應用設(shè)為賽題，將成為參賽隊比拼AI與超算融合能力的絕佳試驗場。
AI大模型賽題專家、浪潮人工智能研究院首席研究員吳韶華表示，這道賽題瞄準的是分布式訓練性能優(yōu)化方向，要求參賽隊伍在100GB的數(shù)據(jù)集上完成10億個令牌的訓練，在滿足精度的條件下，性能越快，得分越高。而訓練性能的提升，將直接降低大模型的訓練開銷、降低集群能耗，進而降低碳排放。希望通過該賽題，參賽隊伍能對自然語言處理領(lǐng)域的前沿研究形成清晰的認知，并且通過創(chuàng)新實踐，找到具有普適意義的方法，取得計算性能上的突破。
ASC世界大學生超算競賽由中國發(fā)起組織，并得到亞洲及歐美相關(guān)專家和機構(gòu)支持，旨在通過大賽平臺推動各國及地區(qū)間超算青年人才交流和培養(yǎng)，提升超算應用水平和研發(fā)能力，發(fā)揮超算的科技驅(qū)動力，促進科技與產(chǎn)業(yè)創(chuàng)新。ASC超算大賽迄今已舉行至第10屆，吸引超萬名世界各國大學生參賽，是全球最大規(guī)模的超算競賽。在最新的2022年賽季，來自世界各國的300多支隊伍報名參賽，經(jīng)初賽選拔的隊伍將參加5月7日-11日在位于合肥的中國科學技術(shù)大學舉行的總決賽。
