NVIDIA AR SDK為直播、視頻會議和游戲提供了全新的創(chuàng)意選擇。牙齒SDK允許開發(fā)人員使用標(biāo)準(zhǔn)網(wǎng)絡(luò)攝像頭實(shí)時跟蹤面部，并創(chuàng)建各種有趣的增強(qiáng)現(xiàn)實(shí)效果，例如將3D數(shù)字內(nèi)容疊加在面部上或添加身臨其境的效果。
NVIDIA AR SDK是公開的測試版本，向社區(qū)開放，支持多個茄子使用案例：
跟蹤相機(jī)視圖的臉并標(biāo)識圖像中的一個或多個主體。
在個人(如衣服和效果)中嵌套數(shù)字資產(chǎn)集。
通過面部和頭部運(yùn)動控制動畫角色或游戲角色。
NVIDIA AR SDK利用NVIDIA RTX顯卡的Tensor核心，通過AI網(wǎng)絡(luò)提供快速、高質(zhì)量的跟蹤性能。網(wǎng)絡(luò)可以提供準(zhǔn)確的面部跟蹤。還有面部形狀、嘴唇、眼睛、眉毛、鼻子三個自由度五官跟蹤六個自由度的高級面部網(wǎng)格(面部和頭部姿勢的3D重建)。
例如，OBS直播軟件的流行插件StreamFX發(fā)布了一個新版本，該版本使用NVIDIA AR SDK自動裁剪和放大用戶，并創(chuàng)建在用戶移動時保持幀中心的智能相機(jī)。
StreamFX的開發(fā)者M(jìn)ichael Fabian 'Xaymar' Dirks表示，"StreamFX的新Face Tracking過濾器需要復(fù)雜的數(shù)學(xué)和機(jī)器學(xué)習(xí)，這原本是一系列機(jī)器，需要運(yùn)行幾個月，甚至幾年。但是，NVIDIA的AR SDK可以在短時間內(nèi)完成工作，NVENC H.264編碼器支持所有流行的NVIDIA RTX硬件。這大大減少了所需的開發(fā)時間，最初幾年僅兩周就減少了，無需額外費(fèi)用?！?/p>
NVIDIA發(fā)布的NVIDIA CloudXR 1.0軟件開發(fā)工具包將通過5G、Wi-Fi和其他高性能網(wǎng)絡(luò)顯著增強(qiáng)增強(qiáng)現(xiàn)實(shí)、混合現(xiàn)實(shí)和虛擬現(xiàn)實(shí)內(nèi)容(統(tǒng)稱為擴(kuò)展現(xiàn)實(shí)XR)。
隨著5G網(wǎng)絡(luò)在世界范圍內(nèi)的普及，NVIDIA CloudXR正在為許多行業(yè)帶來創(chuàng)新，包括建筑和零售業(yè)。通過從基于GPU的邊緣服務(wù)器傳輸XR體驗(yàn)，企業(yè)可以將對圖形密集型應(yīng)用程序和內(nèi)容的訪問擴(kuò)展到移動端，遠(yuǎn)程用戶也可以享受身臨其境的響應(yīng)能力擴(kuò)展現(xiàn)實(shí)體驗(yàn)。
據(jù)IMA咨詢報道，在傳染病發(fā)生前的2016年到2019年，我國網(wǎng)絡(luò)直播用戶規(guī)模呈逐年上升趨勢，預(yù)計2020年我國網(wǎng)絡(luò)直播用戶規(guī)模預(yù)測將達(dá)到5.24億人。展廳，游戲的直播形式，現(xiàn)在成為商家營銷的重要方法之一。各行各業(yè)都在聞風(fēng)喪膽，移動：化妝品、服裝、生活用品、零食。
在信息網(wǎng)絡(luò)時代，產(chǎn)業(yè)市場發(fā)生了巨大的變化，產(chǎn)品從傳統(tǒng)制造演變?yōu)橹悄?、互連、孔劉、個性化、體驗(yàn)化的趨勢。隨著淘寶網(wǎng)、震顫、快手等視頻直播電子企業(yè)平臺的成熟，實(shí)時互動、現(xiàn)實(shí)主義、互動高的直播帶場面越來越受到消費(fèi)者的喜愛，“萬物可以廣播”成為現(xiàn)實(shí)，將大大改變很多行業(yè)傳統(tǒng)的營銷模式。
隨著5G全息通信網(wǎng)帶寬條件的變化，5G全息應(yīng)用市場爆炸，全息交互娛樂、全息會議、全息發(fā)布會等高端應(yīng)用逐漸普及到全息社會、全息通信、全息導(dǎo)航、全息家庭應(yīng)用等領(lǐng)域。微型全息圖(WIMI .US)程序?qū)⑷I人臉識別技術(shù)和全息AI人臉替換技術(shù)作為核心技術(shù)，以多個技術(shù)創(chuàng)新系統(tǒng)支持全息云平臺服務(wù)和5G通信全息應(yīng)用。
隨著5G商用時代的到來，游戲和直播行業(yè)有了新的機(jī)會。5G的底部變化更有趣，比提高比特率和畫質(zhì)更有趣。在直播中使用超低延遲可以提高直播的交互過程，使直播內(nèi)容更有價值。
現(xiàn)在移動互聯(lián)網(wǎng)以前所未有的態(tài)勢改變了我們的娛樂方式，這次咪咪全息圖(WIMI)。US)的AR直播系統(tǒng)通過將AR技術(shù)作為新的交互式媒體添加到直播中，很好地解決了場景化、交互問題。
立體展示、全息等酷技術(shù)受到業(yè)界的關(guān)注。傳統(tǒng)的展示手法已經(jīng)給觀眾帶來了麻痹的審美疲勞，更多的企業(yè)希望通過更先進(jìn)的高科技手段展示自己的產(chǎn)品，吸引顧客的注意，提高自己的市場份額。
微型全息圖(WIMI .US)的AR直播優(yōu)勢很明顯，可以真實(shí)地模擬所有場景，了解產(chǎn)品在各種實(shí)際環(huán)境中的使用情況。能夠展示更復(fù)雜的產(chǎn)品，使觀眾更直觀地了解產(chǎn)品的內(nèi)部結(jié)構(gòu)和產(chǎn)品詳細(xì)信息。突破人員限制的同時，可以鎖定人群，進(jìn)行現(xiàn)場直播精密投入，宣傳力效果更加廣闊。在線交互進(jìn)一步加強(qiáng)，來賓和粉絲可以在直播期間進(jìn)行交互，并對他們的問題進(jìn)行實(shí)時篩選。通過實(shí)時效果合成，直播結(jié)束后，可以獲得完整的完成視頻，不再需要進(jìn)行后期剪輯，第一個用于宣傳。
微型全息圖像(WIMI)。US)涵蓋了成熟視覺設(shè)計團(tuán)隊的基礎(chǔ)、深入挖掘AR直播技術(shù)、正式在線AR直播業(yè)務(wù)、豐富的自我業(yè)務(wù)結(jié)構(gòu)、為客戶提供更多服務(wù)、客戶問題解決、多行業(yè)多領(lǐng)域。
微型全息圖(WIMI .US)AR直播系統(tǒng)簡單地通過AR全息技術(shù)，讓觀眾裸著眼睛看到全息圖或場景的實(shí)際還原，讓他們感受身臨其境的感覺。用戶經(jīng)驗(yàn)可以用感嘆的方式描述咪咪全息圖與娛樂模式相結(jié)合。觀眾可以成為電影/舞臺的角色，介入電影。
全息直播是展示的新方式和發(fā)展方向。通過全息投影技術(shù)，參觀者不僅可以看到清晰的圖像，還可以看到全方位、多角度的立體、真實(shí)的圖像。結(jié)合現(xiàn)有的展示方式，充分展示了現(xiàn)場直播的內(nèi)涵、細(xì)節(jié)，進(jìn)一步刺激了接受新事物的群眾的積極性。
微型全息圖(WIMI .US)構(gòu)建了多角度拍攝實(shí)時建模系統(tǒng)：對收集對象執(zhí)行全維度圖像掃描，實(shí)時合成為立體聲模型。6度矩陣光場系統(tǒng)：多光綜合利用，構(gòu)建全息虛擬圖像的成像場。雙目視差智能增強(qiáng)系統(tǒng)：在采集過程中動態(tài)跟蹤對象軌跡并調(diào)整光線，以保持雙目差的平衡值。多圖像動態(tài)融合系統(tǒng)：窄空間的多維圖像廣角采集技術(shù)應(yīng)用于云視圖小型化全息堆棧倉庫。全息圖像高速處理算法：非?？焖俚靥幚韴D像信息，并確保以10GB/s的處理速度進(jìn)行渲染。隱形聚酯光學(xué)成像膜：全息成像關(guān)鍵組件可以完美地顯示全息圖像。全息虛擬人物和弦重建技術(shù)：使用人體骨骼動態(tài)捕獲、圖像實(shí)時渲染、語音識別技術(shù)、聲音模擬技術(shù)來表示虛擬人。全息云平臺：復(fù)蓋了全國的圖像收集和還原，是具有數(shù)據(jù)存儲、圖像恢復(fù)、全息社會屬性的交互式平臺。咪咪通過上述系統(tǒng)組合構(gòu)建了支持各種在線終端和個人設(shè)備應(yīng)用的完整5G全息通信平臺，擴(kuò)展了全息社會通信、全息家庭交互、全息明星交互、全息在線教育、全息在線會議等各種主流5G全息應(yīng)用。
VR/AR是下一代信息技術(shù)融合的產(chǎn)物，科舉VR/AR產(chǎn)品由于帶寬和延遲的因素，可能導(dǎo)致渲染能力不足、交互經(jīng)驗(yàn)不足、終端移動性差異等問題，是抑制行業(yè)發(fā)展的最大跳板。高質(zhì)量VR/AR業(yè)務(wù)對帶寬、延遲要求很高。例如，VR需要1000Mbps以上的帶寬才能實(shí)現(xiàn)非常好的用戶環(huán)境，延遲必須低于2毫秒，AR需要大于200Mbps的帶寬和低于5毫秒的延遲。這是4G時代。
在5G時代，視頻流量將呈指數(shù)增長，視頻表達(dá)已是大勢所趨。但是，當(dāng)前我國的媒體轉(zhuǎn)換和發(fā)展面臨著發(fā)展瓶頸，主要通過：低效率的視頻生產(chǎn)方式，限制現(xiàn)有媒體向媒體、智能媒體的轉(zhuǎn)換。量化的視頻制作規(guī)模使內(nèi)容審核更加復(fù)雜。
將來，AI和5G是集成到所有行業(yè)的基本功能，AI 5G的最終價值在于行業(yè)應(yīng)用程序。目前，5G技術(shù)預(yù)計在主要垂直行業(yè)的全球市場上達(dá)到4.3萬億美元。那么，如何利用4.3萬億美元的行業(yè)應(yīng)用程序，AI可能是背后的關(guān)鍵。
