Pet vprašanj o Microsoftovem "Project HoloLens"

Oglas

Microsoft je v sredo zjutraj prikazal projekt, na katerem delajo sedem let, imenovane slušalke z dopolnjeno resničnostjo Projekt HoloLens.

Vizija je ambiciozna: želijo bistveno spremeniti način, kako ljudje komunicirajo z računalniki izdelava para kozarcev, ki lahko tekoče mešajo virtualno in resnično vsebino skupaj v fizičnem prostoru uporabnika. Takole je tehnologija virtualne resničnosti Zakaj bo tehnologija virtualne resničnosti razburila vaš um čez 5 letPrihodnost virtualne resničnosti vključuje sledenje glave, oči in izrazov, simulirano dotikanje in še veliko več. Te neverjetne tehnologije vam bodo na voljo čez 5 let ali manj. Preberi več , a v osnovi močnejši. Poleg tega želijo vso obdelavo opraviti lokalno na očalih - brez računalnika, brez telefona, brez kablov. Uvedejo celo posebno različico sistema Windows samo za novo strojno opremo. To je naslednja stopnja tehnološkega razvoja za vse te AR igre Aplikacije razširjene resničnosti: koristno ali preprosto hype? MakeUseOf Testov

Leta 2011 so analitiki napovedovali porast mobilnih aplikacij Augmented Reality. Tehnologija nastanka bi spremenila način interakcije z našimi mobilnimi napravami. Dve leti naprej, desetine aplikacij AR vsebujejo vse ... Preberi več ste ga enkrat namestili v telefon in se od takrat niste več dotaknili.

Njihov časovni okvir je celo bolj ambiciozen od njihovih ciljev: to pomlad želijo odpreti komplete za razvijalce, potrošniški izdelek pa "v časovnem okviru Windows 10". Tukaj je smola.

Vse to se sliši super, vendar priznam dokaj veliko mero skepse.

Tehnologije, ki jih uporablja Microsoft, imajo resne, temeljne izzive in Microsoft je bil doslej zelo natančen glede tega, kako (ali če) so jih rešili. Če jih še niso rešili, je njihov cilj pošiljanja v roku enega leta zelo zaskrbljujoč. Zadnje, kar potrebujejo VR in AR, je veliko podjetje, ki pošilja še en na pol pečen izdelek, kot je Kinect. Spomnite se Projekt Natal demo iz leta 2009?

Brez nadaljnjega oboževanja, tukaj je pet najpomembnejših stvari, ki jih želim vedeti o HoloLens.

Je to prikaz svetlobnega polja?

Da bi to razumeli, moramo pogledati globlje v 3D in kako deluje. Da bi dobili občutek resničnega, oprijemljivega 3D sveta, naši možgani vključujejo veliko različnih vrst informacij. Podatke o svetu dobimo na tri glavne načine:

• Stereo globina - neskladje med tem, kar vidita oba očeta. Tako se ponaša s 3D filmi
• Paralaksa gibanja - subtilni gibi glave in trupa nam dajo dodatne globinske naloge za oddaljene predmete
• Optični fokus - ko se osredotočimo na nekaj, se leče naših oči fizično deformirajo, dokler ne pride v fokus; predmeti v bližini polja zahtevajo več popačenja leč, kar zagotavlja globinske informacije o tem, kaj gledamo

Optično ostrenje je enostavno preveriti sami: zaprite eno oko in palec držite pred steno čez sobo. Nato fokus preusmerite s sličice na površino za njim. Ko pogledate mimo palca, se bo vaš palec odmaknil od fokusa, ker je leča vašega očesa zdaj manj deformirana in ne more pravilno zbirati svetlobe, ki prihaja iz njega.

VR slušalke, kot je Oculus Rift, zagotavljata prva dva odziva zelo natančno, vendar ne zadnjega, kar se presenetljivo izkaže dobro: naše oči se privzamejo, da se popolnoma sprostijo, saj optika fokusira slike, kot skozi svetlobo, ki prihajajo od neskončno daleč proč. Pomanjkanje optične iztočnice ni nerealno, vendar običajno ne moti. Še vedno lahko zelo kul igralne izkušnje 5 igralnih izkušenj Oculus Rift, ki vas bodo odgnaleZdaj, ko je druga generacija razvojnega kompleta Oculus Rift že v rokah in je v rokah razvijalcev po vsem svetu, poglejmo nekaj najboljših stvari, ki so doslej zadele Rift. Preberi več brez tega.

V razširjeni resničnosti je težava drugačna, ker morate mešati svetlobo iz resničnih in virtualnih predmetov. Svetloba iz resničnega sveta bo seveda usmerjena v različne globine. Navidezne vsebine pa bodo usmerjene v določeno, umetno razdaljo, ki jo narekuje optika - verjetno na neskončnost. Navidezni predmeti ne bodo videti, kot da so res del scene. Ko bodo resnične stvari gledali na isti globini in obratno, ne bodo več v fokusu. Ne boste mogli tekoče premikati očesa po prizorišču, hkrati pa ga držati v fokusu, kot običajno. Nasprotujoče si globine namigov bodo v najboljšem primeru zmede in v najslabšem primeru boleče.

Če želite to popraviti, potrebujete nekaj, kar imenujemo zaslon svetlobnega polja. Prikazovalniki svetlobnega polja so zasloni, ki uporabljajo niz drobnih leč za prikaz svetlobe, usmerjene na več globin hkrati. To uporabniku omogoča, da se naravno osredotoči na zaslon in (za razširjeno resničnost) reši zgoraj opisano težavo.

Vendar obstaja težava: svetlobno polje prikaže v bistvu preslikavo enega dvodelnega zaslona na tridimenzionalno svetlobno polje, kar pomeni, da je vsaka "globina slikovnih pik ", ki jih uporabnik zazna (in obstaja na določeni goriščni globini v prizoru) dejansko tvori svetloba iz številnih slikovnih pik na izvirniku prikaz. Čim bolj natančna je globina, ki jo želite upodobiti, večja ločljivost se morate odpovedati.

Na splošno imajo svetlobna polja približno an osemkrat zmanjša se ločljivost, da se omogoči natančna globinska natančnost. Najboljši mikrodispleji na voljo imajo ločljivost približno 1080p. Če predpostavimo, da bo vsako oko zaviralo mikroraziskalnik višjega razreda, bi dejanska ločljivost Microsoftovih slušalk dosegla le približno 500 x 500 slikovnih pik na oko, manj celo kot Oculus Rift DK1. Če ima zaslon visoko vidno polje, bodo virtualni predmeti nerazumljivi piki pik. Če ne gre, bo potopitev sorazmerno prizadeta. Nikoli v resnici ne vidimo skozi objektiv (samo računalniške predelave tega, kar uporabnik vidi), zato nimamo pojma, kakšna je v resnici uporabniška izkušnja.

Microsoft je morda našel novo rešitev te težave, ki bo omogočila uporabo svetlobnega zaslona brez kompromisa. Vendar pa je Microsoftov zelo zaskrbljen glede njihove tehnologije prikazovanja, zato me sumi, da tega niso storili. Tu je najboljše razlago, ki smo ga doslej dobili (od WIRED demo).

Če želite ustvariti slike Project HoloLens, svetlobni delci odskočijo približno milijonkrat v tako imenovanem svetlobnem motorju naprave. Potem fotoni vstopijo v dve leči očal, kamor rišejo med plastmi modrega, zelenega in rdečega stekla, preden pridejo do zadnjega dela očesa.

Takšen opis tehnologije lahko pomeni praktično karkoli (čeprav, pravično, do Microsofta, je strojna oprema navdušila WIRED, čeprav je bil članek podroben).

Vsekakor ne bomo vedeli več, dokler Microsoft ne začne izdajati tehničnih specifikacij, najbrž čez nekaj mesecev. Ali je treba v tem dodatnem marketinškem govoru resnično utopiti projekt? Namenski procesor, ki ga uporabljajo za sledenje glavi, se imenuje "holografski procesor", slike pa brez posebnega razloga imenujejo "hologrami". Izdelek je v bistvu dovolj kul, da ga v resnici ni treba tako pozlati.

Je sledenje dobro?

Slušalke Project HoloLens imajo na sebi nameščeno kamero z visoko globino FOV (kot je Kinect), s pomočjo katere ugotovijo, kje je slušalke so v vesolju (s poskusom poravnati sliko globine, ki jo vidi s svojim modelom sveta, sestavljenim iz pretekle globine slike). Tu je njihova predstavitev v živo za slušalke v akciji.

Sledenje je impresivno, saj ne uporablja označevalcev ali drugih varal, ampak tudi v tem videoposnetku (pod zelo nadzorovani pogoji) lahko vidite določeno količino mahanja: sledenje ni popolnoma stabilno. To je pričakovati: takšno sledenje znotraj navzven je izredno težko.

Vendar pa je velika lekcija iz različni prototipi Oculus Rift Oglejte si nas Poskusite zaliv Oculus Rift Crescent na CES 2015Oculus Rift Crescent Bay je popolnoma nov prototip, ki kaže na nekaj vznemirljivih izboljšav tehnologije virtualne resničnosti. Preizkusimo ga na CES 2015. Preberi več je, da je natančnost sledenja zelo pomembna. Sledilno tresenje je samo nadležno, ko gre za nekaj predmetov v večinoma stabilnem resničnem svetu, toda v prizorih, kot je demonstracija Marsa, so se pokazali v svojem konceptu video, kjer je skoraj vse, kar vidite, navidezno, nenatančno sledenje lahko privede do pomanjkanja "prisotnosti" na virtualni sceni ali celo simulatorja bolezen. Ali lahko Microsoft doseže sledenje do standardne vrednosti, ki jo je določil Oculus (podmilimetrska natančnost sledenja in manj kot 20 ms skupne zamude) do datuma pošiljanja tega leta?

Tu je Michael Abrash, raziskovalec VR, ki je delal tako za Valve kot Oculus, govorimo o težavi

[Ker pri ustvarjanju virtualnih slik vedno prihaja do zamude, […] je zelo težko dobiti navidezne in resnične slike, da se dovolj natančno registrirajo, da oko ne opazi. Recimo, da imate resnično pločevinko Coke, ki jo želite spremeniti v pločevinko AR Pepsi, tako da narišete logotip Pepsi nad logotipom koke. Če traja desetine milisekund, da ponovno narišete logotip Pepsi, bo vsakič, ko boste zasukali glavo, učinek tak zdi se, da se bo logotip Pepsi premaknil za nekaj stopinj glede na pločevinko, del logotipa koke pa bo viden; potem se bo logotip Pepsi, ko se boste nehali premikati, vrnili na pravo mesto. To očitno ni dovolj dobro za težko AR

Ali lahko zaslon nariše črno?

Poleg goriščne globine in sledenja je še eno vprašanje, povezano z risanjem temnih barv. Dodajanje več svetlobe na prizorišče je razmeroma preprosto, če uporabimo cepilnike. Izločanje svetlobe je veliko težje. Kako selektivno zatemnite dele resničnega sveta? Če postavite selektivno prozoren LCD zaslon, ga ne boste zmanjšali, saj vedno ne more biti v pravem fokusu, da bi blokiral tisto, kar gledate. Optičnih orodij za rešitev te težave preprosto, če jih Microsoft ni izumil na skrivaj.

To je pomembno, ker slušalke resnično potrebujejo za številne aplikacije, ki jih Microsoft prikazuje (na primer gledanje Netflixa na vaši steni). možnost odstranjevanja svetlobe, ki prihaja s stene, sicer bo vaš film vedno prekrival viden štukaturni vzorec: nemogoče, da posnetki blokirajo resnične predmete na prizorišču, zaradi česar je uporaba slušalk močno odvisna od osvetlitve okolice pogoji. Nazaj k Michael Abrash:

[S] o se v AR industriji ali literaturi še zdaleč nič takega ni pojavilo, in dokler se to ne zgodi, se trdi AR, v SF smislu, ki ga vsi poznamo in ljubimo, ne more zgoditi, razen v bližnji temi.

To ne pomeni, da je AR odstopil od mize, le da bo nekaj časa mehka AR, ki temelji na aditivnem mešanju […] Spet pomislite prosojno kot "Ghostbusters." Tudi navidezne slike z visoko intenzivnostjo brez temnih področij bodo delovale, zlasti s pomočjo regionalnega ali globalnega zatemnitve - preprosto ne bodo videti kot del resničnega svet.

Kaj pa okluzija?

"Zamašitev" je izraz, ki se zgodi, ko se en predmet poda pred drugega in vam prepreči, da bi videli, kaj je za njim. Da bi se virtualni prizori počutili kot otipljiv del sveta, je pomembno, da resnični predmeti zaklepajo virtualne predmeti: če držite roko pred koščkom virtualne slike, je ne bi smeli videti skozi roka. Zaradi uporabe globinske kamere na slušalkah je to dejansko mogoče. Toda, znova si oglejte predstavitev v živo:

V glavnem skrbno nadzorujejo kote fotoaparata, da se izognejo resničnim predmetom pred virtualnimi. Ko pa demonstrator demonstrira interakcijo z menijem Windows, lahko vidite, da njena roka tega sploh ne izključuje. Če to presega doseg njihove tehnologije, je to zelo slab znak za sposobnost preživetja njihovega potrošniškega izdelka.

In ko govorimo o uporabniškem vmesniku ...

Je to res končni uporabniški vmesnik?

Zdi se, da je uporabniški vmesnik, ki ga je Microsoft pokazal v svojih demo video posnetkih, deloval s kombinacijo pogleda in roke sledenje za nadzor kurzorja v navidezni sceni, medtem ko uporabljate glasovne kontrole za izbiro med različnimi opcije. To ima dve glavni pomanjkljivosti: zaradi tega ste videti kot mali otrok v sijočem, ki se pogovarja s prstom, še pomembneje pa je, da predstavlja bistveno napačno oblikovalsko paradigmo.

Zgodovinsko gledano so bili najboljši uporabniški vmesniki tisti, ki v virtualni svet vnašajo fizične intuicije o svetu. Miška je prinesla klike, vlečenje in okna. Dotični vmesnik je prinesel s prstom, da se pomaknete, in prst za povečavo Oba sta bila ključnega pomena za to, da so računalniki postali dostopnejši in uporabnejši za splošno populacijo - ker so bili v bistvu bolj intuitivni kot prej.

VR in AR vam kot oblikovalca dajeta veliko več svobode: elemente uporabniškega vmesnika lahko postavite kamor koli v 3D-prostor in uporabnike omogočite, da z njimi posegajo po naravni poti, kot da bi bili fizični predmeti. Ogromno število očitnih metafor sam predlaga. Dotaknite se navideznega uporabniškega elementa, da ga izberete. Pripnite ga in ga premaknite. Potisnite jo iz poti, da jo začasno shranite. Stisnite ga, da ga izbrišete. Predstavljate si lahko, kako zgraditi uporabniški vmesnik, ki je tako zelo intuitiven, da ne potrebuje nobene razlage. Nekaj, kar lahko tvoja babica takoj pobere, ker je zgrajena na temeljih osnovnih fizičnih intuicij, ki si jih vsi ustvarijo skozi celotno življenje v interakciji s svetom. Vzemite si trenutek in poslušajte, kako ta pametna oseba opiše, kakšni bi lahko bili vpadljivi vmesniki.

Z drugimi besedami, zdi se mi očitno (po mojem mnenju), da bi moral biti potopni uporabniški vmesnik vsaj tako intuitiven kot vmesniki na dotik, ki jih je iPhone uvedel za 2D zaslone za večkratni dotik. Izdelava vmesnika okoli manipulacije z VR miško je korak nazaj in izpostavlja globoko tehnologijo pomanjkljivosti v tehnologiji sledenja z rokami ali temeljno nerazumevanje tega, kar je pri tej novi zanimivo srednja. Kakor koli že, to je zelo slab znak, da je ta izdelek več kot kolosalni flop v Kinect-ovem obsegu.

Upajmo, da ima Microsoft čas, da dobi povratne informacije o tem in opravi boljše delo. Kot primer, tukaj je vmesnik, ki ga je zasnoval en hobist za Oculus Rift DK2 in Leap Motion. Vsaj to dobro bi moral biti imerzivni uporabniški vmesnik, ki ga je zasnovalo veliko podjetje.

Znak stvari, ki prihajajo

Na splošno sem zelo skeptičen do celotnega projekta HoloLens. Zelo sem vesel, da podjetje, ki ima Microsoftove vire, preiskuje to težavo, vendar me skrbi, da so poskušate hititi izdelek, ne da bi rešili kritične osnovne tehnične težave ali prikovali dober uporabniški vmesnik paradigma. HoloLens je znak za prihodnje stvari, vendar to še ne pomeni, da bo izdelek sam potrošnikom zagotavljal dobro izkušnjo.

Zasluga za slike: z dovoljenjem Microsoft