Sisu

• Piiratud võimsuseelarve
• Ribalaius ja kõrge eraldusvõime
• Madal latentsusaeg ja ekraanipaneelid
• Audio ja andurid
• Arendajad ja tarkvara
• Pakkima

Oleme lõpuks sukeldunud revolutsiooni, nagu mõned võivad seda öelda, sest riist- ja tarkvaratooteid on turul ohtralt ning ressursse kasutatakse uuenduste edendamiseks. Kuid sellest ajast on möödas enam kui aasta, kuna suured tooted lansseeriti, ja ootame endiselt seda tapjarakendust, et muuta virtuaalne reaalsus tavapäraseks eduks. Ootades muudavad uued arendused virtuaalse reaalsuse elujõuliseks kommertsvalikuks, kuid ületada tuleb veel mitmeid tehnilisi takistusi, eriti mobiilses VR-ruumis.

Piiratud võimsuseelarve

Kõige ilmsem ja paremini arutatud väljakutse mobiilse virtuaalse reaalsuse rakenduste ees on palju piiratud energiatarbimise eelarve ja soojuspiirangud, võrreldes selle lauaarvuti ekvivalendiga. Intensiivsete graafikarakenduste käivitamine akult tähendab, et aku eluea säilitamiseks on vaja madalama energiatarbega komponente ja tõhusat energiakasutust. Lisaks tähendab riistvara töötlemise lähedus kasutajale, et soojusenergia eelarvet ei saa ka suuremaks muuta. Võrdluseks - tavaliselt töötab mobiiltelefon alla 4 vatti, samas kui lauaarvuti VR GPU võib hõlpsalt tarbida 150 vatti või rohkem.

On laialdaselt tunnustatud, et mobiilne VR ei hakka toorvõimsuse jaoks sobitama lauaarvuti riistvara, kuid see ei tähenda, et tarbijad ei nõuaks ümbritseva 3D-kogemust terava eraldusvõimega ja suure kaadrisagedusega.

On laialdaselt tunnustatud, et mobiilne VR ei kavatse toorvõimsuse osas töölaua riistvara sobitada, kuid see ei tähenda, et vaatamata piiratud võimsusele ei kavatse tarbijad nõuda ümbritsevat 3D-kogemust terava eraldusvõimega ja kõrge kaadrisagedusega eelarve. 3D-video vaatamise, 360-kraadise taasesitusega asukohtade uurimise ja isegi mängimise vahel on endiselt palju mobiilse VR-i jaoks sobivaid kasutusjuhtumeid.

Tüüpilisele mobiilsele soC-le tagasi vaadates tekitab see täiendavaid probleeme, mida harvem hinnatakse. Ehkki mobiilsed soC-d võivad pakkida korralikku kaheksatuumalist protsessoriprotseduuri ja märkimisväärset GPU-toidet, pole neid kiipide täielikku kallakut võimalik käivitada, seda nii energiatarbe kui ka eelpool mainitud termiliste piirangute tõttu. Tegelikkuses soovib mobiilse VR-i CPU töötada võimalikult vähe aega, vabastades GPU-d suurema osa piiratud energiaelarvest. See piirab mitte ainult mängu loogika, füüsikaarvutuste ja isegi taustal liikuvate protsesside jaoks saadaolevaid ressursse, vaid paneb koormama ka olulisi VR-ülesandeid, näiteks stereoskoopilise renderdamise üleskutseid.

Tööstusharu töötab selle jaoks juba välja lahendusi, mis ei kehti ainult mobiiltelefonide kohta. Mitmevaatelist renderdamist toetatakse OpenGL 3.0 ja ES 3.0 ning selle on välja töötanud kaastöötajad Oculus, Qualcomm, Nvidia, Google, Epic, ARM ja Sony. Mitmevaate abil saab stereoskoopilist renderdamist teostada ainult ühe joonistuskõnega, mitte iga vaatenurga jaoks ühega, vähendades protsessori nõudeid ja vähendades ka GPU tiputööd. See tehnoloogia võib parandada jõudlust 40–50 protsenti. Mobiilses ruumis toetavad Multiview'i juba mitmed ARM Mali ja Qualcomm Adreno seadmed.

Veel üks uuendus, mis eeldatavasti ilmub tulevastes mobiilsetes VR-toodetes, on fikseeritud renderdamine. Kasutades koos silmajälgimise tehnoloogiaga, kergendab foveeritud renderdamine GPU koormust, muutes kasutaja täpse eraldusvõime täpse eraldusvõimega ja vähendades perifeerses nägemises olevate objektide eraldusvõimet. See täiendab kenasti inimese nägemise süsteemi ja võib GPU koormust märkimisväärselt vähendada, säästes sellega energiat ja / või vabastades rohkem energiat muude protsessori või GPU toimingute jaoks.

Ribalaius ja kõrge eraldusvõime

Ehkki mobiilsetes VR-olukordades on töötlemisvõimsus piiratud, on platvorm endiselt samadele nõuetele kui muud virtuaalreaalsuse platvormid, sealhulgas madala latentsusega, kõrge eraldusvõimega ekraanipaneelid. Isegi need, kes on vaadanud VR-kuvasid, millel on QHD (2560 x 1440) eraldusvõime või Rifti peakomplekti eraldusvõime 1080 × 1200 silma kohta, on pildi selgusest ilmselt pisut vajunud. Varjundamine on eriti problemaatiline, kui meie silmad asuvad ekraanile nii lähedal, et servad näevad liikumise ajal eriti karedad või sakilised.

Ehkki mobiilsetes VR-olukordades on töötlemisvõimsus piiratud, on platvorm endiselt samadele nõuetele kui muud virtuaalreaalsuse platvormid, sealhulgas madala latentsusega, kõrge eraldusvõimega ekraanipaneelid.

Julma jõu lahendus on suurendada ekraani eraldusvõimet, järgmiseks loogiliseks kulgemiseks on 4K. Seadmetel peab hoolimata eraldusvõimest olema kõrge värskendussagedus, minimaalseks peetakse 60 Hz, kuid palju eelistatavamad on 90 Hz või isegi 120 Hz. See paneb süsteemimälule suure koormuse - seda on kaks kuni kaheksa korda rohkem kui tänapäeva seadmetes. Mälu ribalaius on mobiilses VR-is juba piiratum kui lauaarvuti toodetes, kus ühiskasutatava kogumi asemel kasutatakse kiiremat pühendatud graafikamälu.

Graafilise ribalaiuse kokkuhoiu võimalike lahenduste hulka kuuluvad tihendamistehnoloogiate kasutamine, näiteks ARM ja AMD Adaptive Scalable Texture Compression (ASTC) standard või kadudeta Ericssoni tekstuuri tihendamise formaat, mis mõlemad on OpenGL ja OpenGL ES ametlikud laiendused. ASTC-d toetatakse ka ARM-i uusimate Mali GPU-de, Nvidia Kepleri ja Maxwell Tegra SoC-de ning Inteli uusimate integreeritud GPU-de riistvarades ning see võib mõne stsenaariumi korral kokku hoida rohkem kui 50-protsendilise ribalaiusega võrreldes tihendamata tekstuuride kasutamisega.

Tekstuuri tihendamise kasutamine võib oluliselt vähendada 3D-rakenduste vajalikku ribalaiust, latentsusaega ja mälu. Allikas - ARM.

Kasutada saab ka muid tehnikaid.Tessellatsiooni abil saab lihtsamatest objektidest luua üksikasjalikuma väljanägemisega geomeetria, ehkki selleks on vaja mõnda muud olulist GPU ressurssi. Edasilükatud renderdamine ja pikslite edasisuunamine võivad vältida varjatud pikslite renderdamist, samas kui binningu / plaatimise arhitektuure saab kasutada pildi jagamiseks väiksemateks ruutudeks või plaatideks, mis mõlemad on renderdatud eraldi - see kõik aitab ribalaiust kokku hoida.

Alternatiivina või eelistatavalt lisaks võivad arendajad ohverdada pildi kvaliteeti, et vähendada süsteemi ribalaiusele avaldatavat stressi. Koormuse vähendamiseks võib kasutada geomeetrilist tihedust või kasutada agressiivsemat väljatõmbamist ning tipuandmete eraldusvõimet saab vähendada tavapäraselt kasutatava 32-bitise täpsusega 16-bitiseks. Paljusid neist tehnikatest kasutatakse juba erinevates mobiilipakettides ja koos võivad need aidata ribalaiuse koormust vähendada.

Mälu pole mitte ainult mobiilses VR-ruumis oluliseks piiranguks, vaid ka üsna suureks energiatarbijaks, mis sageli võrdub CPU või GPU tarbimisega. Säästes mälu ribalaiust ja kasutamist, peaksid kaasaskantavad virtuaalse reaalsuse lahendused nägema aku pikemat tööiga.

Madal latentsusaeg ja ekraanipaneelid

Kui rääkida latentsusaja probleemidest, siis seni oleme näinud ainult OLED-ekraanipaneelidel töötavaid VR-peakomplekte ja see on enamasti tingitud kiiretest pikslilülitusaegadest, mis on alla millisekundi. Ajalooliselt on LCD-d seostatud kummitusprobleemidega väga kiire värskendussagedusega, muutes need VR-i jaoks üsna ebasobivaks. Kuid väga kõrge eraldusvõimega LCD-paneele on endiselt odavam toota kui OLED-i ekvivalente, nii et sellele tehnoloogiale üleminek võib aidata VR-peakomplektide hinna alandada taskukohasemale tasemele.

Fotoni latentsuse liikumine peaks olema alla 20ms. See hõlmab liikumise registreerimist ja töötlemist, graafika ja heli töötlemist ning kuvari värskendamist.

Kuvarid on virtuaalse reaalsuse süsteemi üldises latentsuses eriti oluline osa, tehes sageli vahet näilise ja väiksema osa kogemuse vahel. Ideaalses süsteemis peaks liikumise ja footoni latentsus - aeg, mis kulub pea liigutamise ja ekraani reageerimise vahel - olema vähem kui 20 millisekundit. Ilmselt pole 50ms ekraan siin hea. Ideaalis peavad paneelid olema 5-millimeetrised, et võimaldada ka andurit ja töötlemise latentsust.

Praegu on olemas OLED-i soosiv kulutasuvus, kuid see võib peagi muutuda. Vedelad LCD-paneelid kõrgema värskendussageduse ja madala mustvalge reageerimise aja jaoks, mis kasutavad tipptasemel tehnikaid, näiteks vilkuvad tagatuled, võiksid arvele kenasti sobida. Japan Display näitas just sellist paneeli eelmisel aastal ja võime näha, et ka teised tootjad tutvustavad sarnaseid tehnoloogiaid.

Audio ja andurid

Kuigi suur osa tavalistest virtuaalreaalsuse teemadest keerleb pildikvaliteedi ümber, nõuab ümbritsev VR ka kõrge eraldusvõime, ruumiliselt täpset 3D-heli ja madala latentsusajaga andureid. Mobiilses valdkonnas peab see kõik toimuma sama piiratud toiteeelarve piires, mis mõjutab protsessorit, GPU-d ja mälu, mis kujutab endast täiendavaid väljakutseid.

Oleme varem puudutanud andurite latentsusaega seotud probleeme, mille puhul liikumine tuleb registreerida ja töödelda osana alammäära 20ms liikumisest footonini. Kui arvestada, et VR-peakomplektid kasutavad igas liikumisastmes 6 kraadi - pöördenurka ja suunda igas X-, Y- ja Z-teljes - ning uusi tehnoloogiaid, näiteks silmade jälgimist, on koguda ja töödelda märkimisväärselt palju püsivaid andmeid, kõik minimaalsega latentsus.

Latentsuse võimalikult madalal hoidmiseks vajalikud lahendused nõuavad otsast lõpuni lähenemist, nii riist- kui ka tarkvara abil on neid ülesandeid võimalik paralleelselt täita. Mobiilseadmete jaoks on õnneks pühendatud vähese energiatarbega anduriprotsessorite ja alati sisse lülitatud tehnoloogia kasutamine väga levinud ning need töötavad üsna väikese energiatarbega.

Heli jaoks on 3D-asend mängude jaoks pikka aega kasutatud tehnikat, kuid peaga seotud edastusfunktsiooni (HRTF) kasutamine ja konvolutsiooni kõla töötlemine, mida on vaja helise heliallika positsioneerimiseks, on üsna protsessorimahukad ülesanded. Ehkki neid saab protsessoril teostada, suudab spetsiaalne digitaalsignaaliprotsessor (DSD) seda tüüpi protsesse palju tõhusamalt läbi viia, seda nii töötlemisaja kui ka võimsuse osas.

Kombineerides neid funktsioone juba mainitud graafika- ja kuvamisnõuetega, on selge, et nende vajaduste rahuldamiseks on kõige tõhusam viis kasutada mitut spetsialiseeritud protsessorit. Oleme näinud, et Qualcomm teeb suure osa oma lipulaeva ja uusimate keskmistasemeliste Snapdragoni mobiilplatvormide heterogeensest arvutusvõimest, mis ühendavad mitmesugused töötlemisüksused ühte paketti võimalustega, mis võimaldavad kenasti rahuldada paljusid neist mobiilse VR-i vajadustest. Tõenäoliselt näeme pakettide tüüpi paljudes mobiilsetes VR-toodetes, sealhulgas eraldiseisvas kaasaskantavas riistvaras.

Arendajad ja tarkvara

Lõpuks pole ükski neist riistvara edusammudest eriti hea ilma tarkvarakomplektide, mängumootorite ja SDK-deta, mis toetaksid arendajaid. Lõppude lõpuks ei saa meil olla, et iga arendaja leiutaks ratta iga rakenduse jaoks. Arenduskulude ja võimalikult kiirete kiiruste hoidmine on võtmetähtsusega, kui näeme laias valikus rakendusi.

SDK-d on eriti olulised peamiste VR-töötlusülesannete rakendamisel, näiteks asünkroonne ajavõim, objektiivi moonutuse korrigeerimine ja stereoskoopiline renderdamine. Rääkimata heterogeensete riistvaraseadete võimsuse, termilisest ja töötlemise juhtimisest.

Õnneks pakuvad kõik suuremad riistvaraplatvormide tootjad SDK-sid arendajatele, ehkki turg on üsna killustatud, mille tulemuseks on platvormideülene tugi. Näiteks on Google'il oma VR SDK Androidi jaoks ja spetsiaalne SDK populaarse Unity mootori jaoks, samas kui Oculuse mobiilne SDK on ehitatud koos Samsungiga Gear VR jaoks. Oluline on see, et Khronose grupp avalikustas hiljuti oma OpenXR-i algatuse, mille eesmärk on pakkuda API-t, mis hõlmaks kõiki peamisi platvorme nii seadme- kui ka rakendustasandil, et hõlbustada platvormidevahelist arendamist. OpenXR nägi toetust oma esimeses virtuaalreaalsuse seadmes millalgi enne 2018. aastat.

Pakkima

Mõnedele probleemidele vaatamata on tehnoloogia väljatöötamisel ja mingil määral juba ka siin, mis muudab mobiilse virtuaalreaalsuse kasutatavaks paljude rakenduste jaoks. Mobiilsel VR-l on ka mitmeid eeliseid, mis lihtsalt ei kehti lauaarvutite ekvivalentide korral, mis teeb sellest edaspidi investeeringute ja intriigide väärilise platvormi. Teisaldatavuse tegur muudab mobiilse VR-i multimeediumielamuste ja isegi kergete mängude jaoks köitvaks platvormiks, ilma et oleks vaja juhtmeid, mis on ühendatud võimsama arvutiga.

Lisaks muudab suur hulk turul pakutavaid mobiilseadmeid, mis on üha enam varustatud virtuaalse reaalsuse võimalustega, selle valiku platvormiks suurima sihtrühmani jõudmiseks. Kui virtuaalreaalsusest peab saama tavapärane platvorm, vajab see kasutajaid ja mobiil on suurim kasutajaskond, keda koputada.