 |
北京2023年5月16日 /美通社/ -- 我們站在人工智能（AI）革命的前沿。過(guò)去十年，數(shù)據(jù)與算力的碰撞催生了深度學(xué)習(xí)，讓許多令人刮目相看的AI能力成為現(xiàn)實(shí)。然而，這也讓我們面臨好似潘多拉盒子那樣的矛盾性挑戰(zhàn)：自動(dòng)化居然是勞動(dòng)密集型的工作。聽(tīng)起來(lái)似乎好笑，但任何試圖用AI來(lái)解決業(yè)務(wù)問(wèn)題的人可能都知道，這是事實(shí)。
傳統(tǒng)的AI工具雖然功能強(qiáng)大，但可能昂貴且耗時(shí)難用。必須費(fèi)力地收集、整理數(shù)據(jù)并使用特定任務(wù)的注釋來(lái)標(biāo)記數(shù)據(jù)，以訓(xùn)練 AI 模型；而構(gòu)建模型還需要專(zhuān)門(mén)但卻難找的技能，更不要說(shuō)每個(gè)新任務(wù)都需要重復(fù)這個(gè)過(guò)程。因此，企業(yè)不得不將主要注意力放在自動(dòng)化那些有豐富數(shù)據(jù)和高業(yè)務(wù)價(jià)值的任務(wù)之上，而把其它的一切先放在一邊。然而，這種情況正在開(kāi)始改變。
如需了解IBM技術(shù)、產(chǎn)品和服務(wù)的更多信息，點(diǎn)擊訪問(wèn)IBM官網(wǎng)。
https://research.ibm.com/blog/what-is-generative-AITransfomers算法架構(gòu)和自監(jiān)督學(xué)習(xí)方法的出現(xiàn)，使我們能夠利用大量未標(biāo)記的數(shù)據(jù)，為大型預(yù)訓(xùn)練模型鋪平了道路，我們有時(shí)將其稱(chēng)為"基礎(chǔ)模型"。這些大模型降低了自動(dòng)化背后所需的成本和勞力。
基礎(chǔ)模型為各種 AI 應(yīng)用提供了強(qiáng)大而多樣的基礎(chǔ)。我們可以使用基礎(chǔ)模型以有限的注釋數(shù)據(jù)和最少的工作量快速執(zhí)行任務(wù)；在某些情況下，我們只需要描述手頭的任務(wù)就可以驅(qū)使模型去完成任務(wù)。
但這些強(qiáng)大的技術(shù)也給企業(yè)帶來(lái)了新的風(fēng)險(xiǎn)和挑戰(zhàn)。今天的許多模型都是在質(zhì)量和來(lái)源未知的數(shù)據(jù)集上進(jìn)行訓(xùn)練的，導(dǎo)致會(huì)產(chǎn)生攻擊性、有偏見(jiàn)或與事實(shí)不符的響應(yīng)。那些最大型的模型不僅成本高昂，而且訓(xùn)練和運(yùn)行的耗能龐大，部署起來(lái)也很復(fù)雜。
IBM 一直在開(kāi)發(fā)一種方法，解決企業(yè)使用基礎(chǔ)模型所面臨的核心挑戰(zhàn)。IBM日前在Think大會(huì)上宣布推出 watsonx.ai，這是IBM提供的市場(chǎng)上最新的 AI 工具和技術(shù)門(mén)戶(hù)。當(dāng)然，這個(gè)領(lǐng)域發(fā)展極快，有些工具只有幾周時(shí)間長(zhǎng)，而IBM也在不斷為市場(chǎng)提供更新的工具。
watsonx.ai 是IBM剛剛宣布的watsonx產(chǎn)品集的一部分，包含的內(nèi)容多樣且將不斷演進(jìn)，但I(xiàn)BM總體的承諾不變——就是要提供安全的企業(yè)就緒的自動(dòng)化產(chǎn)品。
這是 IBM 正在進(jìn)行的一項(xiàng)工作，旨在加速客戶(hù)從AI 新范式中獲取價(jià)值的旅程。在此，介紹一下IBM構(gòu)建一套由 IBM 訓(xùn)練的企業(yè)級(jí)基礎(chǔ)模型的工作，包括IBM采用的數(shù)據(jù)與模型架構(gòu)的方法。同時(shí)還將概述IBM新的平臺(tái)和工具，如何幫助企業(yè)基于廣泛的開(kāi)源模型目錄和IBM的模型，來(lái)構(gòu)建和部署基于基礎(chǔ)模型的解決方案。
數(shù)據(jù)：基礎(chǔ)模型的基礎(chǔ)
數(shù)據(jù)質(zhì)量 至關(guān)重要。在有偏見(jiàn)或不良數(shù)據(jù)上訓(xùn)練的AI模型，自然會(huì)產(chǎn)生有偏見(jiàn)或不良的輸出。這個(gè)問(wèn)題在基礎(chǔ)模型時(shí)代會(huì)變得更加復(fù)雜，用于訓(xùn)練模型的數(shù)據(jù)通常來(lái)自眾多數(shù)據(jù)源，且異常豐富，以至于人類(lèi)根本無(wú)法合理地梳理所有數(shù)據(jù)。
由于數(shù)據(jù)是驅(qū)動(dòng)基礎(chǔ)模型的燃料，因此 IBM 一直專(zhuān)注于精心策劃模型中的所有內(nèi)容。我們開(kāi)發(fā)了AI工具，嚴(yán)格過(guò)濾數(shù)據(jù)中存在的仇恨、褻瀆、許可限制和偏見(jiàn)等。一旦發(fā)現(xiàn)，立即刪除，然后重新訓(xùn)練模型，如此循環(huán)反復(fù)。
數(shù)據(jù)管理是一項(xiàng)永遠(yuǎn)都做不完的工作。我們不斷開(kāi)發(fā)和完善新方法，以提高數(shù)據(jù)質(zhì)量和控制，以滿(mǎn)足不斷變化的法律和監(jiān)管要求。我們構(gòu)建了一個(gè)端到端框架來(lái)跟蹤已經(jīng)清洗過(guò)的原始數(shù)據(jù)、使用的方法，以及每個(gè)數(shù)據(jù)點(diǎn)接觸過(guò)的模型。
我們不斷收集高質(zhì)量的數(shù)據(jù)，以幫助解決金融、法律、網(wǎng)絡(luò)安全和可持續(xù)發(fā)展等各個(gè)領(lǐng)域的一些最為緊迫的業(yè)務(wù)挑戰(zhàn)。 我們當(dāng)前的目標(biāo)是收集超過(guò) 1 TB 的精選文本用以訓(xùn)練我們的基礎(chǔ)模型，同時(shí)添加精選軟件代碼、衛(wèi)星數(shù)據(jù)以及 IT 網(wǎng)絡(luò)事件的數(shù)據(jù)與日志。
IBM 研究院還在開(kāi)發(fā)能夠在基礎(chǔ)模型整個(gè)生命周期中注入信任的技術(shù)，以減輕偏見(jiàn)并提高模型的安全性。例如FairIJ，它可以識(shí)別用于調(diào)整模型的數(shù)據(jù)中的偏差數(shù)據(jù)點(diǎn)，以便對(duì)其進(jìn)行編輯。其它方法，如fairness reprogramming，允許我們減輕模型中的偏差，即使是已經(jīng)訓(xùn)練過(guò)的模型。
專(zhuān)注于企業(yè)價(jià)值的高效基礎(chǔ)模型
IBM 新的 watsonx.ai 開(kāi)發(fā)平臺(tái)提供了 一套旨在實(shí)現(xiàn)企業(yè)價(jià)值的基礎(chǔ)模型。它們已被整合到一系列 IBM的產(chǎn)品當(dāng)中，這些產(chǎn)品將在未來(lái)幾個(gè)月內(nèi)提供給 IBM 客戶(hù)。
認(rèn)識(shí)到并沒(méi)有放之四海而皆準(zhǔn)的解決方案，因此IBM正在構(gòu)建一系列有著不同大小和體系結(jié)構(gòu)的語(yǔ)言及代碼的基礎(chǔ)模型。每個(gè)模型家族都以一個(gè)地質(zhì)名稱(chēng)代號(hào)——Granite (花崗巖)、砂巖 (Sandstone)、黑曜石 (Obsidian) 和板巖 (Slate)——它們匯集了來(lái)自 IBM 研究院和開(kāi)放研究社區(qū)的尖端創(chuàng)新，每個(gè)模型都可以針對(duì)一系列企業(yè)任務(wù)進(jìn)行定制。
Granite 模型是基于僅解碼器、類(lèi)似 GPT 的架構(gòu)，用于生成任務(wù)。 Saadstone模型使用編碼器-解碼器架構(gòu)，非常適合對(duì)特定任務(wù)進(jìn)行微調(diào)，可與 Google 流行的 T5 模型互換。 Obsidian 模型利用 IBM 研究院開(kāi)發(fā)的新模塊化架構(gòu)，為各種任務(wù)提供高推理效率和性能水平。 Slate指的是一系列僅編碼器（基于RoBERTa）的模型，雖然不是生成式的，但對(duì)于許多企業(yè)NLP任務(wù)來(lái)說(shuō)既快速又有效。所有 watsonx.ai 模型都是在 IBM 精心策劃的且聚焦企業(yè)的數(shù)據(jù)湖和IBM定制設(shè)計(jì)的云原生 AI 超級(jí)計(jì)算機(jī) Vela 上進(jìn)行訓(xùn)練。
效率和可持續(xù)性是 watsonx.ai 的核心設(shè)計(jì)原則。 IBM 研究院發(fā)明了用于高效模型訓(xùn)練的新技術(shù)，包括"LiGO"算法，該算法可回收小模型并讓使其"長(zhǎng)成"較大的模型。這種方法可以節(jié)省訓(xùn)練模型所需的 40% 到 70% 的時(shí)間、成本和碳排放量。為了提高推理速度，IBM研究院利用其在量化方面的深厚專(zhuān)業(yè)知識(shí)，https://www.ibm.com/blogs/research/2019/05/ultra-low-precision-training/或?qū)⒛Ｐ蛷?32 點(diǎn)浮點(diǎn)算法縮小到更小的整數(shù)位格式。降低 AI 模型精度可以在不犧牲準(zhǔn)確性的情況下帶來(lái)巨大的效率優(yōu)勢(shì)。IBM希望很快在其AI優(yōu)化芯片IBM AIU上運(yùn)行這些壓縮模型https://research.ibm.com/blog/ibm-artificial-intelligence-unit-aiu。
適用于基礎(chǔ)模型的混合云工具
基礎(chǔ)模型的最后一道難題是創(chuàng)建一個(gè)易用的軟件平臺(tái)來(lái)調(diào)整和部署模型。IBM 基于紅帽O(jiān)penShift 構(gòu)建的混合及云原生的推理堆棧，已針對(duì)訓(xùn)練和服務(wù)基礎(chǔ)模型進(jìn)行了優(yōu)化。企業(yè)可以利用 OpenShift 的靈活性在任何地點(diǎn)（包括本地）運(yùn)行模型。
IBM在 watsonx.ai 中創(chuàng)建了一套工具，為客戶(hù)提供友好的用戶(hù)界面和開(kāi)發(fā)人員友好的庫(kù)，用于構(gòu)建基于基礎(chǔ)模型的解決方案。我們的提示實(shí)驗(yàn)室 (Prompt Lab) 使用戶(hù)只需幾個(gè)標(biāo)記的示例即可快速執(zhí)行AI任務(wù)。調(diào)優(yōu)開(kāi)發(fā)平臺(tái)基于IBM 研究院開(kāi)發(fā)的最先進(jìn)的高效微調(diào)技術(shù)，讓客戶(hù)可以用自己的數(shù)據(jù)來(lái)實(shí)現(xiàn)快速、可靠的模型定制。
除了 IBM 自己的模型之外，watsonx.ai 還提供了對(duì)廣泛的開(kāi)源模型目錄的無(wú)縫訪問(wèn)，供企業(yè)進(jìn)行試驗(yàn)和快速迭代。通過(guò)與Hugging Face建立的新合作伙伴關(guān)系，IBM將在 watsonx.ai 中提供數(shù)千個(gè)開(kāi)源的Hugging Face基礎(chǔ)模型，數(shù)據(jù)集和庫(kù)。反過(guò)來(lái)，Hugging Face也將在 watsonx.ai 上提供IBM所有的專(zhuān)有和開(kāi)放訪問(wèn)的模型與工具http://watsonx.ai/http://ibm.com/products/watsonx-aihttp://watsonx.ai/。
可以 在此處了解有關(guān)該開(kāi)發(fā)平臺(tái)的更多信息。
展望未來(lái)
基礎(chǔ)模型正在改變AI 的格局，并將加速推進(jìn)已經(jīng)取得的各項(xiàng)進(jìn)展。IBM 很高興能夠立于這一快速發(fā)展的技術(shù)前沿并做出規(guī)劃，把科技創(chuàng)新轉(zhuǎn)化為真正的企業(yè)價(jià)值。
點(diǎn)擊了解有關(guān) watsonx.ai 的更多信息
