北京2024年9月24日 /美通社/ -- 只要輸入提示文字，大模型就能給我們高度擬真、準確的圖像，相信很多人已經(jīng)體驗到這種前沿且酷炫的圖像創(chuàng)作方式，這背后其實是能力強大的圖像生成模型做支撐。
目前諸如Sora等前沿圖像生成模型，基于的主體架構都是Diffusion Transformer（DiT）。DiT可以將生成模型擴展到更大的模型規(guī)模，從而實現(xiàn)高質量的圖像生成。然而更大的模型規(guī)模導致訓練成本飆升，為此，南開大學計算機學院研發(fā)了Masked Diffusion Transformer（MDT）圖像生成模型，相比DiT訓練速度提升10倍以上，實現(xiàn)了ImageNet Benchmark上1.58的FID score，再次刷新SOTA圖像生成質量和學習速度。相關論文已在計算機視覺頂級會議ICCV 2023（計算機視覺國際大會）發(fā)表。
MDT開發(fā)和訓練的背后需要強大的AI算力資源支持，為了建設滿足MDT開發(fā)和訓練需求的AI算力平臺，南開大學與浪潮信息合作，借助浪潮信息AI服務器構建強大算力資源池，利用AIStation智能業(yè)務生產創(chuàng)新平臺實現(xiàn)算力高效分發(fā)，提高計算資源利用率，加速MDT圖像生成模型訓練。
大模型創(chuàng)新面臨海量算力資源挑戰(zhàn)
DiT雖然在圖像生成領域取得了顯著的成功，但是DiT往往難以高效地學習圖像中物體各部分之間的語義關系，這一局限性導致了訓練過程的低收斂效率，經(jīng)常需要數(shù)十萬次地迭代訓練才能生成高質量的圖像。為了降低訓練成本，提升訓練效率，南開大學計算機學院程明明教授團隊開展了大模型領域的深度研究，MDT就是重要科研成果之一。MDT利用mask modeling表征學習策略，增強DiT對上下文語義信息的學習能力，進而提升圖像生成的質量和學習速度。
大模型技術進步的背后離不開強大算力的支持，為了進一步提升MDT的開發(fā)和訓練效率，同時實現(xiàn)算力成本效益的最大化，南開大學對算力基礎設施的建設提出了如下訴求：
需要強大的AI算力資源支持。以程明明教授團隊為例，研發(fā)高峰期甚至需要付費租用更昂貴的云算力資源，特別是按照新引進的團隊規(guī)模，現(xiàn)有設備的峰值算力已經(jīng)無法滿足科研需求，亟需構建高質量的算力資源池；
快速構建大模型開發(fā)環(huán)境，提高模型訓練效率。大模型訓練環(huán)境配置、框架匹配與參數(shù)調整經(jīng)常會耗費大量的人力與物力，還可能會碰到環(huán)境算法配置復雜、模型結構多樣適配繁瑣等問題，這會耽誤寶貴的模型研發(fā)時間；
算力資源高效調度，降低算力使用成本。大模型訓練的不同任務、不同階段對于算力的需求有著明顯的波動性，如果無法精準調度算力資源，不僅會造成冗余算力在平常時段的閑置浪費，導致算力成本大幅提升，也很難滿足資源高效管理調度的需求。
提升AI算力利用效率 加快大模型開發(fā)
南開大學采用了浪潮信息提供的算力方案，該方案包括浪潮信息高性能AI服務器、網(wǎng)絡交換機、存儲系統(tǒng)，滿足模型訓練過程中對算力資源的需求。同時，為了最大化利用AI算力資源、提升大模型開發(fā)效率，南開大學利用AIStation平臺實現(xiàn)AI算力資源的高效調度。
全新升級的AIStation具備全面的大模型流程支持能力，幫助用戶低門檻構建大模型微調任務，提供標準、安全的大模型推理服務，并針對大模型業(yè)務資源需求優(yōu)化了算力管理功能，助力南開大學快速開展大模型業(yè)務創(chuàng)新與落地，獲得穩(wěn)定、高效、易用、高精度的大模型服務。
浪潮信息AIStation為大模型訓練提供有力支持，助力南開大學的大模型開發(fā)能力：
構建端到端的大模型開發(fā)流程：AIStation支持端到端的大模型開發(fā)流程，支持TensorFlow、PyTorch、MxNet等主流大模型框架以及GoogleNet/VGG/ResNet等網(wǎng)絡模型，一臺GPU服務器可運行多種框架環(huán)境，并實現(xiàn)快速切換。AIStation通過自動環(huán)境部署和AI工作流，將MDT的開發(fā)準備時間大幅縮短，幫助南開大學有效降低構建大模型開發(fā)環(huán)境和訓練任務等門檻。
提升AI算力資源利用率：AIStation支持更加細粒度的分配調度算力，幫助南開大學為每項AI訓練任務合理匹配AI算力資源，實現(xiàn)資源的高效利用。針對MDT等優(yōu)先級較高的應用，AIStation可設置GPU、CPU、內存數(shù)量，硬件資源隔離，應用環(huán)境獨立，各應用之間互不影響。
實現(xiàn)算力資源快速調度：AIStation簡化了算力調度和模型開發(fā)流程，實現(xiàn)了業(yè)務按需使用、秒級下發(fā)，并實現(xiàn)大模型實驗室不同團隊共用流程、共享環(huán)境，開發(fā)者與算力高效協(xié)同。平臺還提供了實時、可視化的數(shù)據(jù)支持，支持訓練進度、訓練結果、資源利用情況等數(shù)據(jù)的可視化展示，助力南開大學精準進行算力調度。
浪潮信息提供的算力解決方案，為南開大學程明明教授團隊在圖像生成領域的研究提供了強大的算力支持和高效的資源調度能力，顯著提升了MDT圖像生成模型的訓練速度和圖像質量，對于藝術創(chuàng)作、游戲開發(fā)乃至醫(yī)學影像分析等領域都有重大潛力。
