北京2022年12月5日 /美通社/ -- 亞馬遜云科技在2022 re:Invent全球大會上宣布，為端到端機(jī)器學(xué)習(xí)服務(wù)Amazon SageMaker 推出八項(xiàng)新功能。眾多開發(fā)人員、數(shù)據(jù)科學(xué)家和業(yè)務(wù)分析師使用 Amazon SageMaker 提供的全托管基礎(chǔ)設(shè)施、工具和工作流，輕松快速地構(gòu)建、訓(xùn)練和部署機(jī)器學(xué)習(xí)模型?？蛻羰褂脵C(jī)器學(xué)習(xí)不斷創(chuàng)新，他們創(chuàng)建的模型比以往任何時候都多，因此，他們需要高級功能來有效管理模型的開發(fā)、使用和性能。本次發(fā)布包括新的 Amazon SageMaker 治理功能，它可以在整個機(jī)器學(xué)習(xí)生命周期中提供對模型性能的可見性。新的 Amazon SageMaker Studio Notebook 功能提供了增強(qiáng)的Notebook體驗(yàn)，讓客戶只需點(diǎn)擊幾下即可檢查和解決數(shù)據(jù)質(zhì)量問題，促進(jìn)數(shù)據(jù)科學(xué)團(tuán)隊(duì)之間的實(shí)時協(xié)作，通過將Notebook代碼轉(zhuǎn)變到自動化作業(yè)加速機(jī)器學(xué)習(xí)實(shí)驗(yàn)到生產(chǎn)的過程。最后，Amazon SageMaker新功能可自動執(zhí)行模型驗(yàn)證，并且讓地理空間數(shù)據(jù)處理變得更容易。要開始使用 Amazon SageMaker，請?jiān)L問 aws.amazon.com/sagemaker。
"當(dāng)前，數(shù)以萬計(jì)各種規(guī)模和各行各業(yè)的客戶都在使用 Amazon SageMaker。亞馬遜云科技客戶每個月都在構(gòu)建數(shù)百萬個模型、訓(xùn)練數(shù)十億參數(shù)規(guī)模的模型、生成數(shù)萬億個預(yù)測。 許多客戶正在以幾年前聞所未聞的規(guī)模使用機(jī)器學(xué)習(xí)。"亞馬遜云科技人工智能和機(jī)器學(xué)習(xí)副總裁Bratin Saha表示， "今天發(fā)布的Amazon SageMaker新功能讓團(tuán)隊(duì)能夠更輕松地加快機(jī)器學(xué)習(xí)模型的端到端開發(fā)和部署。 從專門構(gòu)建的治理工具到下一代Notebook體驗(yàn)和簡化的模型測試，再到對地理空間數(shù)據(jù)的增強(qiáng)支持，我們在 Amazon SageMaker 的基礎(chǔ)上不斷創(chuàng)新，幫助客戶大規(guī)模利用機(jī)器學(xué)習(xí)。"
對很多用戶而言，云計(jì)算讓機(jī)器學(xué)習(xí)觸手可及。但直到幾年前，構(gòu)建、訓(xùn)練和部署模型的過程仍然是艱苦而乏味的，人手不多的數(shù)據(jù)科學(xué)家團(tuán)隊(duì)需要進(jìn)行為期數(shù)周或數(shù)月的持續(xù)迭代，才能使模型達(dá)到生產(chǎn)水平。亞馬遜云科技在五年前推出 Amazon SageMaker以應(yīng)對這些挑戰(zhàn)，此后陸續(xù)增加了250 多項(xiàng)新特性和功能，讓客戶能夠更輕松地在多項(xiàng)業(yè)務(wù)中使用機(jī)器學(xué)習(xí)。當(dāng)前，一些客戶聘請了數(shù)百名專業(yè)人員，他們使用 Amazon SageMaker 做出預(yù)測，用以在改善客戶體驗(yàn)、優(yōu)化業(yè)務(wù)流程和加速新產(chǎn)品和服務(wù)開發(fā)等方面幫助解決最嚴(yán)峻的挑戰(zhàn)。隨著機(jī)器學(xué)習(xí)應(yīng)用的增長，客戶想要使用的數(shù)據(jù)類型不斷增加，客戶需要的治理、自動化和質(zhì)量保證水平也與日俱增，以期實(shí)現(xiàn)對機(jī)器學(xué)習(xí)負(fù)責(zé)任的應(yīng)用。Amazon SageMaker一向致力于為全球所有技能水平的專業(yè)人員提供支持，此次發(fā)布也秉承了這一創(chuàng)新傳統(tǒng)。
Amazon SageMaker 機(jī)器學(xué)習(xí)治理新功能
Amazon SageMaker新功能可以幫助客戶更輕松地在機(jī)器學(xué)習(xí)模型生命周期中擴(kuò)大治理規(guī)模。 隨著企業(yè)內(nèi)模型和用戶數(shù)量的增長，設(shè)置最低權(quán)限的訪問控制和創(chuàng)建治理流程以記錄模型信息（如輸入數(shù)據(jù)集、訓(xùn)練環(huán)境信息、模型使用描述和風(fēng)險評級）都變得愈發(fā)困難。模型部署后，客戶還需要監(jiān)測偏差和特征偏移，從而確保模型按預(yù)期運(yùn)行。
Amazon SageMaker Role Manager 可以更輕松地控制訪問和權(quán)限：適當(dāng)?shù)挠脩粼L問控制是治理的基石，它保護(hù)數(shù)據(jù)隱私，防止信息泄露，確保專業(yè)人員可以訪問他們完成工作所需的工具。但一旦數(shù)據(jù)科學(xué)團(tuán)隊(duì)增加到數(shù)十甚至數(shù)百人，實(shí)施這些控制就會變得越來越復(fù)雜。機(jī)器學(xué)習(xí)管理員（創(chuàng)建和監(jiān)控組織內(nèi)機(jī)器學(xué)習(xí)系統(tǒng)的人）必須平衡對簡化開發(fā)的需求和對管控機(jī)器學(xué)習(xí)工作流內(nèi)任務(wù)、資源和數(shù)據(jù)訪問的需求。當(dāng)前，管理員通常創(chuàng)建電子表格或使用臨時列表導(dǎo)覽數(shù)十種不同活動（如數(shù)據(jù)準(zhǔn)備和訓(xùn)練）和角色（如機(jī)器學(xué)習(xí)工程師和數(shù)據(jù)科學(xué)家）所需的訪問策略。這些工具需要手動維護(hù)，而且可能需要數(shù)周時間才能明確新用戶有效完成工作所需的具體任務(wù)。Amazon SageMaker Role Manager 讓管理員可以更輕松地控制訪問并為用戶定義權(quán)限。管理員可以根據(jù)不同的用戶角色和職責(zé)選擇和編輯預(yù)建模板。之后，該工具會在幾分鐘內(nèi)自動創(chuàng)建具有必要權(quán)限的訪問策略，持續(xù)降低添加和管理用戶所投入的時間和精力。
Amazon SageMaker Model Cards簡化模型信息收集：當(dāng)前，大多數(shù)專業(yè)人員依靠不同的工具（如電子郵件、電子表格和文本文件）記錄模型開發(fā)和評估期間的業(yè)務(wù)需求、關(guān)鍵決策和觀察結(jié)果。專業(yè)人員需要用這些信息支持審批工作流、注冊、審計(jì)、客戶查詢和監(jiān)控，但要為每個模型都收集這些詳細(xì)信息則需要幾個月的時間。一些專業(yè)人員試圖通過構(gòu)建復(fù)雜的記錄保存系統(tǒng)來解決問題，但這樣的系統(tǒng)需要手動操作、耗時且容易出錯。Amazon SageMaker Model Cards在亞馬遜云科技控制臺提供了單獨(dú)的位置存儲模型信息，從而在整個模型生命周期中簡化文檔管理。新功能會自動將輸入數(shù)據(jù)集、訓(xùn)練環(huán)境和訓(xùn)練結(jié)果等詳細(xì)的訓(xùn)練信息直接輸入到 Amazon SageMaker Model Cards。用戶還可以使用自助問卷的形式保存模型信息（如精度目標(biāo)、風(fēng)險評級）、訓(xùn)練和驗(yàn)證結(jié)果（如偏差或精準(zhǔn)度指標(biāo)）以及供將來參考的觀察結(jié)果，用以進(jìn)一步提升治理水平、支持負(fù)責(zé)任地使用機(jī)器學(xué)習(xí)。
Amazon SageMaker Model Dashboard 提供集中界面以跟蹤機(jī)器學(xué)習(xí)模型：模型部署到生產(chǎn)環(huán)境后，專業(yè)人員希望不斷跟蹤模型以了解其性能、識別潛在問題。這一任務(wù)通常針對每個模型單獨(dú)完成。但當(dāng)組織開始部署數(shù)千個模型時，這種方式會變得越來越復(fù)雜，需要大量的時間和資源。 Amazon SageMaker Model Dashboard 可以全面概覽已部署的模型和端點(diǎn)，讓專業(yè)人員只需在一個地方就可以跟蹤資源和模型行為。通過模型看板，客戶還可以使用內(nèi)置集成的Amazon SageMaker Model Monitor（具備模型與數(shù)據(jù)偏移監(jiān)控功能）和Amazon SageMaker Clarify（具備機(jī)器學(xué)習(xí)偏差檢測功能）。這種對模型行為和性能的端到端可見性為簡化機(jī)器學(xué)習(xí)治理流程、快速解決模型問題提供了必備的信息。
要了解有關(guān) Amazon SageMaker 治理功能的更多信息，請?jiān)L問 aws.amazon.com/sagemaker/ml-governance。
下一代Notebook
Amazon SageMaker Studio Notebook 為專業(yè)人員提供了從數(shù)據(jù)探索到部署的全托管Notebook體驗(yàn)。 隨著團(tuán)隊(duì)規(guī)模和復(fù)雜性的增加，可能有數(shù)十名專業(yè)人員需要使用Notebook協(xié)作開發(fā)模型。亞馬遜云科技推出三項(xiàng)新功能幫助客戶協(xié)調(diào)和自動化Notebook代碼，進(jìn)一步為用戶提供最佳Notebook體驗(yàn)。
簡化數(shù)據(jù)準(zhǔn)備：專業(yè)人員在準(zhǔn)備訓(xùn)練數(shù)據(jù)時希望直接在Notebook中探索數(shù)據(jù)集，以發(fā)現(xiàn)和糾正潛在的數(shù)據(jù)質(zhì)量問題（如信息缺失、極值、數(shù)據(jù)集失真和偏差）。專業(yè)人員可能要花費(fèi)數(shù)月時間編寫樣板代碼將數(shù)據(jù)集的不同部分可視化，檢查數(shù)據(jù)集，以期識別和修復(fù)問題。Amazon SageMaker Studio Notebook提供內(nèi)置的數(shù)據(jù)準(zhǔn)備功能，讓專業(yè)人員只需點(diǎn)擊幾下即可直觀地查看數(shù)據(jù)特征、修復(fù)數(shù)據(jù)質(zhì)量問題，所有這一切都直接在Notebook環(huán)境中進(jìn)行。當(dāng)用戶在Notebook中顯示data frame（即數(shù)據(jù)的表格形式）時，Amazon SageMaker Studio Notebook 會自動生成圖表幫助用戶識別數(shù)據(jù)質(zhì)量問題，提供數(shù)據(jù)轉(zhuǎn)換建議幫助解決常見問題。專業(yè)人員選擇數(shù)據(jù)轉(zhuǎn)換后，Amazon SageMaker Studio Notebook 會在Notebook中生成相應(yīng)代碼，可供每次運(yùn)行Notebook時重復(fù)應(yīng)用。
加速整個數(shù)據(jù)科學(xué)團(tuán)隊(duì)的協(xié)作：準(zhǔn)備好數(shù)據(jù)后，專業(yè)人員就可以開始開發(fā)模型。這是一個迭代過程，可能需要團(tuán)隊(duì)成員在同一個Notebook中進(jìn)行協(xié)作。當(dāng)前，團(tuán)隊(duì)必須通過電子郵件或聊天應(yīng)用交換Notebook和其它資產(chǎn)（如模型和數(shù)據(jù)集），以便在Notebook上實(shí)時協(xié)作，這會導(dǎo)致溝通疲勞、反饋遲滯和版本不統(tǒng)一等問題。 Amazon SageMaker 現(xiàn)在為團(tuán)隊(duì)提供了一個工作區(qū)，成員可以在其中實(shí)時閱讀、編輯和運(yùn)行Notebook，簡化協(xié)作和溝通。團(tuán)隊(duì)成員可以一起查看Notebook結(jié)果，立即了解模型性能，無需反復(fù)傳遞信息。Amazon SageMaker Studio Notebook支持 BitBucket 和 Amazon CodeCommit 等服務(wù)，團(tuán)隊(duì)可以輕松管理不同的Notebook版本，比較版本變更。實(shí)驗(yàn)和機(jī)器學(xué)習(xí)模型這樣的附加資源也會自動保存，讓團(tuán)隊(duì)工作井井有條。
Notebook代碼自動轉(zhuǎn)換為生產(chǎn)就緒作業(yè)：當(dāng)專業(yè)人員要將訓(xùn)練完成的機(jī)器學(xué)習(xí)模型用到生產(chǎn)中時，他們通常將代碼片段從Notebook復(fù)制到一個腳本，再將腳本及其所有的依賴項(xiàng)打包到容器，最后調(diào)度容器運(yùn)行。要在日程表上重復(fù)運(yùn)行該作業(yè)，他們必須搭建、配置和管理持續(xù)集成和持續(xù)交付 （CI/CD）管道，才能實(shí)現(xiàn)自動化部署。搭建所有必要的基礎(chǔ)設(shè)施可能需要數(shù)周時間，這會占用核心的機(jī)器學(xué)習(xí)開發(fā)活動時間。Amazon SageMaker Studio Notebook 現(xiàn)在讓專業(yè)人員可以選擇一個Notebook，將其自動化為可以在生產(chǎn)環(huán)境運(yùn)行的作業(yè)。Notebook選擇完成后，Amazon SageMaker Studio Notebook 會建立整個Notebook的快照，將其依賴項(xiàng)打包到容器，構(gòu)建基礎(chǔ)設(shè)施，按照專業(yè)人員設(shè)定的時間表將Notebook作為自動化作業(yè)運(yùn)行，當(dāng)作業(yè)完成時釋放基礎(chǔ)設(shè)施，如此可以將Notebook投入生產(chǎn)所需的時間從數(shù)周縮短到數(shù)小時。
要開始使用下一代 Amazon SageMaker Studio Notebook和這些新功能，請?jiān)L問 aws.amazon.com/sagemaker/notebooks。
使用實(shí)時推理請求自動驗(yàn)證新模型
在部署到生產(chǎn)環(huán)境之前，專業(yè)人員會測試和驗(yàn)證每個模型，檢查模型性能、識別可能對業(yè)務(wù)產(chǎn)生負(fù)面影響的錯誤。專業(yè)人員通常使用過去的推理請求數(shù)據(jù)測試新模型的性能，但這些數(shù)據(jù)有時無法代表當(dāng)前的真實(shí)推理請求。例如，用于規(guī)劃最快路線的機(jī)器學(xué)習(xí)模型的歷史數(shù)據(jù)可能無法代表交通事故或突然關(guān)閉道路時交通流量的顯著改變。為了解決這個問題，專業(yè)人員將發(fā)送到生產(chǎn)模型的推理請求副本路由到他們想要測試的新模型。他們需要花費(fèi)數(shù)周時間構(gòu)建這樣的測試基礎(chǔ)設(shè)施、鏡像推理請求、比較新模型在關(guān)鍵指標(biāo)（如延遲和吞吐量）上的表現(xiàn)。雖然這讓專業(yè)人員對模型的執(zhí)行情況更有信心，但為數(shù)百以至數(shù)千個模型實(shí)施這些解決方案的成本和復(fù)雜性太高，使其無法規(guī)?；?/p>
Amazon SageMaker Inference 現(xiàn)在提供了一種功能，讓專業(yè)人員可以更輕松地實(shí)時使用相同的真實(shí)推理請求數(shù)據(jù)，將新模型的性能與生產(chǎn)模型的性能進(jìn)行比較?，F(xiàn)在，他們可以輕松地將測試同時擴(kuò)展到數(shù)千個新模型，無需構(gòu)建自己的測試基礎(chǔ)設(shè)施。首先，客戶選擇想要測試的生產(chǎn)模型，Amazon SageMaker Inference 隨后會將新模型部署到具有完全相同條件的托管環(huán)境。Amazon SageMaker 將生產(chǎn)模型收到的推理請求副本路由到新模型，并創(chuàng)建控制面板顯示關(guān)鍵指標(biāo)之間的性能差異，客戶便可以實(shí)時了解每個模型的不同之處?？蛻粢坏?yàn)證了新模型的性能并確信它沒有潛在錯誤，就可以安全地部署它。要了解有關(guān) Amazon SageMaker Inference 的更多信息，請?jiān)L問 aws.amazon.com/sagemaker/shadow-testing。
Amazon SageMaker全新的地理空間功能讓客戶可以更輕松地使用衛(wèi)星和位置數(shù)據(jù)進(jìn)行預(yù)測
當(dāng)前，大部分收集到的數(shù)據(jù)都包含地理空間信息（如位置坐標(biāo)、天氣圖和交通數(shù)據(jù)）。但是，已經(jīng)用于機(jī)器學(xué)習(xí)的只有一小部分，原因是地理空間數(shù)據(jù)集很難處理，通常達(dá)到PB 級的規(guī)模，且跨越整個城市或數(shù)百公里土地。要開始構(gòu)建地理空間模型，客戶通常會采購衛(wèi)星圖像或地圖數(shù)據(jù)等第三方數(shù)據(jù)源以補(bǔ)充其專有數(shù)據(jù)。由于地理空間數(shù)據(jù)規(guī)模龐大，專業(yè)人員需要合并這些數(shù)據(jù)，準(zhǔn)備數(shù)據(jù)用于訓(xùn)練，并編寫代碼將數(shù)據(jù)集劃分為可管理的子集。當(dāng)客戶準(zhǔn)備部署訓(xùn)練好的模型時，他們必須編寫更多代碼以重新組合多個數(shù)據(jù)集，將數(shù)據(jù)和機(jī)器學(xué)習(xí)模型預(yù)測關(guān)聯(lián)起來。為了從完成的模型中提取預(yù)測結(jié)果，專業(yè)人員需要花費(fèi)數(shù)天時間使用開源的可視化工具在地圖上做渲染。從數(shù)據(jù)改進(jìn)到可視化，整個過程可能需要幾個月的時間，這使得客戶很難利用地理空間數(shù)據(jù)及時產(chǎn)生機(jī)器學(xué)習(xí)預(yù)測。
Amazon SageMaker將客戶豐富數(shù)據(jù)集、訓(xùn)練地理空間模型并將結(jié)果可視化的時間從數(shù)月縮短到數(shù)小時，從而加速和簡化地理空間機(jī)器學(xué)習(xí)預(yù)測的生成?？蛻糁恍鑾状吸c(diǎn)擊或使用 API就可以使用 Amazon SageMaker訪問各種地理空間數(shù)據(jù)源，例如亞馬遜云科技的位置服務(wù)Amazon Location Service、開放數(shù)據(jù)集Amazon Open Data、客戶自有數(shù)據(jù)和來自Planet Labs等第三方供應(yīng)商的數(shù)據(jù)。當(dāng)專業(yè)人員選擇了想要使用的數(shù)據(jù)集，他們可以利用內(nèi)置的運(yùn)算器將這些數(shù)據(jù)集與自己的專有數(shù)據(jù)合并起來。為了加快模型開發(fā)，Amazon SageMaker 提供了預(yù)訓(xùn)練的深度學(xué)習(xí)模型，其支持的用例包括通過精準(zhǔn)農(nóng)業(yè)提高作物產(chǎn)量、監(jiān)測自然災(zāi)害后區(qū)域恢復(fù)以及改善城市規(guī)劃等。訓(xùn)練完成后，內(nèi)置的可視化工具在地圖上顯示數(shù)據(jù)，揭示新的預(yù)測。要進(jìn)一步了解有關(guān) Amazon SageMaker 全新的地理空間功能，請?jiān)L問 aws.amazon.com/sagemaker/geospatial。
Capitec Bank 是南非最大的數(shù)字銀行，擁有超過 1000 萬數(shù)字客戶。 "在 Capitec，我們在各個產(chǎn)品線都擁有大批數(shù)據(jù)科學(xué)家，他們構(gòu)建不同的機(jī)器學(xué)習(xí)解決方案。"Capitec Bank 機(jī)器學(xué)習(xí)工程師 Dean Matter表示，"我們的機(jī)器學(xué)習(xí)工程師管理著一個基于 Amazon SageMaker 構(gòu)建的集中式建模平臺，支持所有這些機(jī)器學(xué)習(xí)解決方案的開發(fā)和部署。在沒有任何內(nèi)置工具的情況下，跟蹤建模工作往往發(fā)生文檔脫節(jié)，模型缺乏可見性。借助 Amazon SageMaker Model Cards，我們可以在統(tǒng)一環(huán)境中跟蹤大量的模型元數(shù)據(jù)。而Amazon SageMaker Model Dashboard 提供了對每個模型性能的可見性。此外，Amazon SageMaker Role Manager 簡化了對不同產(chǎn)品線數(shù)據(jù)科學(xué)家進(jìn)行的訪問管理。每一項(xiàng)功能都有助于我們的模型治理，足以保證客戶對我們作為金融服務(wù)提供商的信任。"
EarthOptics 是一家土壤數(shù)據(jù)測量和制圖公司，利用專有傳感器技術(shù)和數(shù)據(jù)分析精確測量土壤健康狀況和土壤結(jié)構(gòu)。 "我們希望使用機(jī)器學(xué)習(xí)幫助客戶利用經(jīng)濟(jì)實(shí)惠的土壤地圖提高農(nóng)業(yè)產(chǎn)量。" EarthOptics 首席執(zhí)行官 Lars Dyrud 表示，"Amazon SageMaker 的地理空間機(jī)器學(xué)習(xí)功能使我們能夠使用多個數(shù)據(jù)源快速構(gòu)建算法原型，并且將研究和部署生產(chǎn) API 之間的時間縮短到只有一個月。 得益于 Amazon SageMaker，我們?yōu)槊绹鞯氐霓r(nóng)場和牧場部署了用于土壤固碳的地理空間解決方案。"
HERE Technologies 是一個領(lǐng)先的位置數(shù)據(jù)和技術(shù)平臺，可幫助客戶創(chuàng)建自定義地圖和基于高精度位置數(shù)據(jù)的位置體驗(yàn)。 "我們的客戶需要實(shí)時情境信息，利用空間模式和趨勢洞察做出業(yè)務(wù)決策。"HERE Technologies 首席產(chǎn)品和技術(shù)官 Giovanni Lanfranchi 表示，"我們依靠機(jī)器學(xué)習(xí)自動從不同數(shù)據(jù)源獲取位置數(shù)據(jù)，增強(qiáng)數(shù)據(jù)的情境信息，加速數(shù)據(jù)分析。Amazon SageMaker 的測試新功能讓我們能夠在生產(chǎn)中更嚴(yán)格、更主動地測試機(jī)器學(xué)習(xí)模型，避免對客戶造成不利影響或者因?yàn)椴渴鸬哪Ｐ统鲥e導(dǎo)致任何中斷。 這對我們至關(guān)重要，因?yàn)榭蛻羝诖覀兏鶕?jù)瞬息萬變的實(shí)時位置數(shù)據(jù)提供及時的見解。"
Intuit 是全球性金融技術(shù)平臺，通過 TurboTax、Credit Karma、QuickBooks 和 Mailchimp等產(chǎn)品支持全球超過 1 億客戶的繁榮發(fā)展。 "我們正在釋放數(shù)據(jù)的力量，給我們平臺上的消費(fèi)者、個體經(jīng)營者和小型企業(yè)帶來金融變革。"Intuit 工程和產(chǎn)品開發(fā)總監(jiān) Brett Hollman 表示，"為了進(jìn)一步提高團(tuán)隊(duì)效率、將 AI 驅(qū)動的產(chǎn)品快速推向市場，我們與亞馬遜云科技密切合作，設(shè)計(jì)了 SageMaker Studio Notebook 中全新的團(tuán)隊(duì)協(xié)作功能。我們成功實(shí)現(xiàn)了簡化溝通和協(xié)作，讓我們的團(tuán)隊(duì)能夠使用 Amazon SageMaker Studio 將機(jī)器學(xué)習(xí)開發(fā)規(guī)模化。"
