omniture

當(dāng)程序員節(jié)遇上RTC,相芯談帶寬紅利時代的AI+CG

2019-10-25 15:29

北京2019年10月25日 /美通社/ -- 10月24日,恰逢格子襯衫控的節(jié)日 -- 程序員節(jié)。有超3000多名RTC技術(shù)社區(qū)開發(fā)者齊聚北京,參加全球最大實(shí)時音視頻技術(shù)盛會之一 -- RTC2019。相芯科技作為RTC開發(fā)者大會的老朋友,不僅在展區(qū)帶來了視頻AR特效、虛擬形象自動生成、AI虛擬主播、AI虛擬助手等產(chǎn)品解決方案。同時相芯科技的CTO秦昊博士,在【下一代RTC】論壇帶來了關(guān)于《智能圖形學(xué)的進(jìn)展及應(yīng)用》的技術(shù)分享,共同探討在帶寬紅利時代,AI+CG技術(shù)如何給讓視頻更加智能、更加豐富這一新議題。

當(dāng)程序員節(jié)遇上RTC,相芯和你聊聊帶寬紅利時代的AI+CG
當(dāng)程序員節(jié)遇上RTC,相芯和你聊聊帶寬紅利時代的AI+CG

RTC開發(fā)者大會的影響力正在不斷壯大,基于技術(shù)的發(fā)展和對音視頻的需求不斷增加,RTC 大會在議題方向和覆蓋行業(yè)等方面一直在不斷更新迭代。2015 年和 2016 年 RTC 大會主要聚焦在實(shí)時音視頻、實(shí)時通信相關(guān)的技術(shù)應(yīng)用。在 2017 年增加了 VR(VR 聲音的泛娛樂探索、VR 多人實(shí)時互動中 3D 音場及動作同步工程實(shí)踐)、AR(移動直播 AR 技術(shù))相關(guān)的技術(shù)。到了 2018 年,機(jī)器學(xué)習(xí)(無人駕駛、人工智能與視頻處理)、AR(AR 眼鏡的商業(yè)化之路、AR 中的模型同步)等議題也出現(xiàn)在 RTC 大會的日程上。今年的技術(shù)分享,囊括編解碼、傳輸架構(gòu)、QoE、AI(實(shí)時超分辨率、語音鑒黃、AI 音頻美化)到 5G、Flutter(Flutter 浪潮下的音視頻研發(fā)探索)這些開發(fā)者關(guān)心的熱點(diǎn)技術(shù)。

相芯科技CTO秦昊在RTC 大會上發(fā)表演講
相芯科技CTO秦昊在RTC 大會上發(fā)表演講

5G的速度提升,帶來移動體驗(yàn)新標(biāo)準(zhǔn)

每一代移動設(shè)備的更新都帶來了移動體驗(yàn)的新跨越。例如,從2G到3G,從IM短信時代進(jìn)化到手機(jī)彩信郵件等時代。4G的引入,則催生了全民直播和流媒體的時代。而5G的到來,可以帶來更多的想象空間。5G將逐步取代現(xiàn)有的4G網(wǎng)絡(luò),將蜂窩實(shí)際數(shù)據(jù)傳輸速度從10-15 Mbps提高到100+ Mbps。更快的速度和更快的連接將為現(xiàn)有的移動體驗(yàn)創(chuàng)造新的標(biāo)準(zhǔn),用戶可以體驗(yàn)低延時、更高清的視頻播放,AR和其他虛擬現(xiàn)實(shí)相結(jié)合的更豐富的互動形式,以及獲得更多富有創(chuàng)造性的新體驗(yàn)。5G的到來,讓視頻內(nèi)容成為互聯(lián)網(wǎng)應(yīng)用的主流,如何能夠低成本、快速地生成更多新奇、有趣的視頻內(nèi)容成為核心。相芯科技專注的智能圖形學(xué)領(lǐng)域,讓AI與CG結(jié)合,恰恰是在于解決在消費(fèi)級領(lǐng)域,普通用戶低門檻地創(chuàng)作和生產(chǎn)新的內(nèi)容這個問題。

千人千面的卡通形象,AIAR更懂人心

只要一張正面自拍,就能立刻生成一個和自己高度相似的卡通形象,還能實(shí)現(xiàn)卡通形象的實(shí)時驅(qū)動。全自動生成、只需普通攝像頭、支持個性化自定義、可接入各大應(yīng)用場景……相芯科技將復(fù)雜的技術(shù)難題解決,將豐富有趣的效果和低門檻的使用條件留給用戶,使得這項(xiàng)虛擬形象自動生成技術(shù)可以被接入到各種平臺設(shè)備中,可應(yīng)用于虛擬社交、短視頻、直播等各種應(yīng)用場景中。

相芯科技個性化虛擬形象智能生成
相芯科技個性化虛擬形象智能生成

讓人像美化更智能

傳統(tǒng)的人像美顏方案主要基于圖像處理技術(shù)方案,比如美白、磨皮。相芯的人像智能美化方案更多地利用AI技術(shù)對人像進(jìn)行更深入的理解,實(shí)現(xiàn)美妝、美發(fā)、美體等立體化全身的美化方案。比如針對美妝,相芯根據(jù)需求生成了209個人臉關(guān)鍵點(diǎn)點(diǎn)位,使得妝容更加細(xì)致多元化,同時還利用圖像渲染技術(shù),優(yōu)化口紅、眉毛等視覺表現(xiàn)。針對美發(fā),則通過神經(jīng)網(wǎng)絡(luò)進(jìn)行語義,將發(fā)型區(qū)域分割出來,進(jìn)而實(shí)現(xiàn)實(shí)時變色,并支持任意顏色的自定義設(shè)置。針對美體方案,相芯科技基于人體檢測和關(guān)鍵點(diǎn)追蹤模型,可以實(shí)現(xiàn)實(shí)時進(jìn)行人體微調(diào),實(shí)現(xiàn)對肩、胯、腿、身形等部位的細(xì)致美化,達(dá)到長腿、瘦身等各種美體塑形效果。

讓視頻生產(chǎn)自動化智能化

只需要輸入一段文字,算法就會自動生成一個虛擬形象有表情有動作的播報(bào)視頻。這是相芯科技目前應(yīng)用于AI虛擬主播、AI智能助手的語音動畫合成技術(shù)(STA)。在相芯科技打造的解決方案中,具體虛擬形象類型豐富、人物表現(xiàn)力強(qiáng)、多平臺適配、視頻合成便捷等特性。

目前相芯的AI虛擬主播方案已經(jīng)在很多主流媒體里投入使用,如世園會的吉祥物、錢江臺的小范兒、濟(jì)南廣電的小沫兒等等。同時相芯的AI虛擬助手解決方案也在汽車智能助手、智能金融、智慧醫(yī)療領(lǐng)域投入使用。

RTC展區(qū)現(xiàn)場互動人氣高

在整個RTC開發(fā)者大會期間,相芯科技在展區(qū)帶來了最新的產(chǎn)品demo,讓更多對相芯科技技術(shù)感興趣的開發(fā)者第一時間實(shí)時體驗(yàn)和交流。在現(xiàn)場生成自己的卡通形象、和智能助手聊天,干貨滿滿的技術(shù)分享和切實(shí)的產(chǎn)品體驗(yàn)讓更多開發(fā)者對產(chǎn)品的技術(shù)合作表現(xiàn)出濃厚的興趣。

能在消費(fèi)級領(lǐng)域打造更多有趣的具有創(chuàng)造性的技術(shù),是5G時代互聯(lián)網(wǎng)的應(yīng)用的一個新趨勢,相芯科技專注于人工智能和計(jì)算機(jī)圖形學(xué)的融合與創(chuàng)新,將會為消費(fèi)級應(yīng)用打造更多內(nèi)容創(chuàng)作工具、平臺和解決方案。

消息來源:杭州相芯科技有限公司