HoloLens - najbliższa holograficzna przyszłość?

[KopalniaWiedzy.pl 357]

Microsoft zaprezentował HoloLens – okulary, które nakładają hologramy na otaczającą nas rzeczywistość i pozwalają użytkownikowi na wchodzenie w interakcje z wirtualnymi obiektami. Tym razem to nie jest li tylko projekt badawczy, HoloLens mają zadebiutować na rynku równocześnie z systemem Windows 10. Obecnie to my zanurzamy się w świecie wirtualnej rzeczywistości. A co by było, gdybyśmy mogli wirtualną rzeczywistość zaprosić do naszego świata? - mówił podczas prezentacji Alex Kipman z Microsoftu.

HoloLens działają w oprogramowaniem Windows Holographic, dzięki któremu użytkownik za pomocą gestów może manipulować wirtualnymi przedmiotami w swoim otoczeniu. Oprogramowanie rozpoznaje, gdzie użytkownik patrzy i odczytuje ruchy jego dłoni oraz palców.

To wielki dzień dla Windows. Chcemy, by więcej ludzi potrzebowało naszego systemu, wybierało go i go polubiło. To nasz cel - mówi szef Microsoftu, Satya Nadella.

Analitycy przewidują, że HoloLens mogą spotkać się z olbrzymim zainteresowaniem klientów, a podobne technologie – nazwane przez nich mixed-reality computing – trafią do głównego nurtu przed rokiem 2020. Można być niemal pewnym, że Apple i Google podążą w ślady Microsoftu.

HoloLens mogą znaleźć niezwykle wiele zastosowań, od domowej rozrywki po prace inżynieryjne, podczas których będą ze sobą współpracowali ludzie znajdujący się na różnych kontynentach.

Poniżej przedstawiamy materiał z oficjalnej prezentacji HoloLens.

 

« powrót do artykułu

[sig 11]

Akurat wy powinniśie zdawać sobie sprawę że na chwilę obecną nie da się zrobić takiego wyświetlacza, na co wskazują choćby wojskowe HUD-y. To póki co nie produkt, tylko życzenie typu "o coś takiego chcielibyśmy mieć, ale nie mamy, a nawet nie mamy pojęcia kiedy będziemy mieć wiec nie podamy daty premiery".

 

ps to ciągle Microsoft, czyli coby się nie działo konkurencja zrobi to szybciej i lepiej Google robił tego typu fimiki już ze 2 lata temu, a co z google glasów wyszło wszyscy wiemy.

[thikim 119]

To jest fajne, ale do gier, zabawy, oglądania filmów, komunikacji.

W wiekszości zastosowań myszka zawsze jest lepsza. Myszka jest szybka i precyzyjna. O wiele szybsza niż: skoncentrowanie się, pomyślenie, ruszenie głową, okiem oraz rozpoznanie tego przez komputer.

Proste pytanie: ile dpi ma to sterowanie wzrokiem? I ile to zajmuje. Już szacunkowo można powiedzieć że to są rzędy wielkości i znaczna poprawa tych parametrów jest mało prawdopodobna.

[pogo 102]

Wystarczy mi, że precyzja sterowania wzrokiem pozwalała na przełączanie miedzy aktywnymi oknami aby to co musi być dokładniej zrobione już nie wymagało szukania gdzie zostawiłem kursor i czy piszę tu gdzie chcę.

 

Myślę, że zastosowań jest całkiem sporo, a precyzja do większości z nich będzie zadowalająca. Tam gdzie trzeba będzie więcej precyzji to powstaną jakieś nakładki pozwalające na bardziej mechaniczny odczyt pozycji ręki... albo laserowy... czy co tam jeszcze wymyślą. Wiadomo, że zwykłą kamerka jest ograniczona koniecznością rozpoznania obrazu i rozdzielczością sensora, ale przy laserach myślę, że spokojnie za jakiś czas do osiągnięcia będzie 3600DPI (jak w mojej myszce)

[thikim 119]

Chcesz laserem po oczach komuś świecić??

Ale to nie o to chodzi. Chodzi o to że ręka jest szybsza niż oko. No chyba że chcesz ludziom oczy wymienić to wtedy....

Edytowane 24 stycznia 2015 przez thikim

[Astroboy 34]

Wszystko pięknie, ale czy nikt nie wpadł na to, że warto wykorzystać zwykle bezrobotną lewą rękę (większość praworęcznych)? O ile rozpoznałem temat, wszyscy wypowiadający się zabijali z użyciem lewej dłoni. Dodałbym też "pedały nożne" (kupa informacji).

[thikim 119]

Owszem wpadli, prawie wszyscy gracze to robią, ba nawet jaki piszę na klawiaturze to wykorzystuję lewą rękę

A Ty nie?

Ale wracając do meritum. Jeśli skupianie oczu na czymś można porównać do ruchu człowieka, wtedy ręka będzie równie szybka jak kula. Nie ta klasa szybkości i nie mam żadnego pomysłu ale może Wy macie jak to zmienić.

[Astroboy 34]

 

 

A Ty nie?

 

A owszem.

 

 

 

Ale wracając do meritum. Jeśli skupianie oczu na czymś można porównać do ruchu człowieka, wtedy ręka będzie równie szybka jak kula

 

Myślę, że tak jak biegają Twoje gałki oczne, tak nie wydolą Twoje uda. Ale się nie znam. Rzeczywista ręka nie może być szybsza, niż rzeczywista ręka. Ale wiem, że Microsft wie lepiej.

[thikim 119]

Błędna myśl, moje uda z łatwością pokonają 5, 10 albo 100 metrów. Moje gałki z trudem ruszają się o własnych siłach (nie nóg) o milimetry

Musiałbym z 1000 razy poruszyć gałkami aby wykonać ruch porównywalny w swoim zakresie z 1 ruchem ud.

No chyba że chcesz porównywać co wskazują moje gałki z tym co wskazują moje uda. Tylko po 1 po co. Po 2 uda też mogą pokazać księżyc. Ale nie o to chodzi w sterowaniu.

Od pokazywania natura wymyśliła dłonie i palce, oczy są od patrzenia.

No i jeszcze jedna sprawa:

jak wiadomo na ruchy oczu składają się bodajże trzy czy cztery rodzaje ruchu.

Te najszybsze są nieświadome więc nie da rady ich zastosować do sterowania.

Te wolne są właśnie takie: wolne. A do tego nieprecyzyjne, chociaż prezycja się stopniowo zwiększa jak dłużej popatrzymy. Fajne sterowanie co po paru sekundach staje się precyzyjne.

Gdyby czujnik chciał rejestrować szybciej droga wolna - ale by złe ruchy zarejestrował - nieświadome.

Edytowane 24 stycznia 2015 przez thikim

[glaude 40]

Każdy mięsień oczny, a są to 4 proste (górny, dolny, boczny i przyśrodkowy), oraz 2 skośne (górny i dolny) składają się z 2 rodzajów włókien. Jedne to włókna, "wolne" (wykonują ruchy wolne ale za to o dużej amplitudzie)- tzw. śledzące. Drugie włókna "szybkie" (wykonują ruchy o małej amplitudzie, za to szybkie)- tzw. sakkady.

Ruchy śledzące są niezależne od woli (odruchowe), zaś sakkady są zależne (świadome).

 

Najłatwiej się o tym przekonać, gdy spróbujemy świadomie, płynnie przenieść wzrok z jednego miejsca (np. okna) na drugie (np. drzwi)- ale bez poruszania głową!!! Okazuje się to niemożliwe- odbywa się to tylko skokowo (sakkadą). Dlatego ruchy świadome oczu o szerszym zakresie niż skok sakkady realizowane są poprzez ruchy głowy. Główny (i płynny!!!) ruch odbywający się w górę/dół czy na boki wykonują mięśnie karku, a punktowy mały przeskok jest "autorstwa" ocznych sakkad. Jest to tzw. układ oko-głowa.

 

Ruchy śledzące są zawiadywane przez ośrodki korowe w korze ciemieniowej, zaś sakkady (jak i świadome ruchy głowy) przez korę czołową. Oczywiście ruch świadomy (ten z jednoczesnym ruchem głowy) jest bardziej skomplikowany gdyż ośrodki korowe muszą odejmować "od siebie" lub dodawać współrzędne z pola widzenia względem obu ruchów (gałek ocznych i głowy). Można jednak takimi ruchami sygnalizować niewerbalnie kierunki drugiemu człowiekowi samą głową. U ludzi (zwłaszcza u kobiet) także same ruchy (sakkady) oczu wskazują na sygnalizowanie kierunku i na działania. Jest to możliwe, gdyż człowiek ma małe tęczówki, a duże białkówki i ruch oczu jest dość łatwo percepowany przez inne osobniki. Coś takiego jest niemożliwe np. u szympansów, gdyż one mają duże tęczówki- a ruch ich oczu nie odsłania rąbka białkówki. Dlatego szympansy reagują na sygnalizowanie kierunku ruchami głowy innych osobników.

 

A na koniec ciekawostka. Mięśnie oczu to najwięksi atleci. Są niezmordowane. Mogą pracować bez odpoczynku. I robią to. Nawet we śnie nasze oczy pracują- szczególnie w fazie REM.

[thikim 119]

Słuszna uwaga - pracują także mieśnie karku. To teraz 1000 razy ruch karku - ćwicz

Oczy, głowa - jest fajnie jak chcemy sterować światem o kącie powiedzmy > 30 stopni. Czego potrzebujemy w grach, filmach itp.

Normalnie komunikacja przez wycinek przestrzeni zwany monitorem jest sprawniejsza przy pomocy myszki.

Zresztą przypominam że już  nie pierwszy to pomysł i nie ostatni - zawsze każdy przegrywa z układem myszka + klawiatura. W tym zakresie czasy Star Treka długo jeszcze nie nadejdą o ile kiedykolwiek. Zabawa owszem.

Poprawianie "rozdzielczości i szybkości" tych nowych metod odbywa się coraz większym mozołem. Mniej więcej jest to tak jakby liczyć silnię.

Uzyskaliśmy poziom zabawy. Droga daleka a wysiłek niewspółmierny.

W takiej sytuacji ja wolałbym ulepszyć znane czyli myszkę i klawiaturę.

[glaude 40]

@thikim

Ja pisałem ogólnie, o funkcjach motorycznych "ukł. oko-głowa"- a nie o sterowaniu (czy też raczej nawigowaniu) gier, bo po prostu się na tym nie znam. Jestem technofobem i wszystko co świeci (komórki, tablety, komputery wszelkiej maści oraz ich pochodne) i posiada oprogramowanie (jakiekolwiek) to dla mnie czarna magia. Dobrze radzę sobie jedynie z programami do EEG- ale bez tego nie mógłbym zarabiać na rodzinę, więc to raczej konieczność niż pasja. Bo czasy papierowych zapisów EEG już (niestety) nie wrócą 

 

Natomiast do sterowania/nawigowania grami czy wirtualną rzeczywistością według mnie najlepiej nadają się potencjały mięśniowe (EMG). Na razie takie rozwiązania wykorzystuje się jedynie do drogich (ale wspaniałych) protez ręki. Są one skomplikowane, bo w motoryce dłoni bierze udział duża ilość mięśni, a co z tym związane dużo neuronów kory ruchowej. Tu linkuję zdjęcie tzw. homunkulusa mięśniowego (graficzne przedstawienie jak dużo kory ruchowej zawiaduje różnymi rejonami ciała) i dokładnie na nim widać, że najwięcej neuronów kieruje ruchami (małych) mięśni twarzy i właśnie ręki. Karkiem zaś mała ilość:

http://pl.wikipedia.org/wiki/Kora_ruchowa#mediaviewer/File:Homunculus.PNG

 

Elektrody przyklejone do kilku kluczowych mięsni karku zbierałyby (w czasie rzędu ms) współrzędne ruchu głowy, a odpowiedni algorytm komputerowy przetwarzałby to na współrzędne ruchu wzroku w przestrzeni (czy wirtualnej przestrzeni). Ruch gałek ocznych (sakkad) można by pominąć, gdyż przy ruchach głowy (proporcjonalnie dużych) jest nieistotnie mały. Przy dłuższym treningu oczy pewnie nauczyłyby się utrzymywać pozycję "na środku", co czyniłoby cały proces nawigowania jeszcze łatwiejszym. Myślę, że do działanie wystarczyłyby 4 odprowadzenia (elektrody) z kluczowych mięśni karku. Po 2 elektrody na prawą i lewą stronę karku. Jedyna dla mnie niewiadoma to stopień skomplikowania programu informatycznego do równoległego przetwarzania danych z potencjałów mięśniowych- chodzi o amplitudę (w uV) i czas (w ms). Gdyby to zrobić, sprawa jest prosta, bo ludzka świadomość nie działa szybciej niż 100-200 ms, więc komputer spokojnie da sobie radę z nadążaniem w czasie rzeczywistym, skoro kineskopy telewizorów lampowych dawały radę oszukiwać ludzką świadomość wzrokową jednością wyświetlanego obrazu 

[pogo 102]

 

 

A na koniec ciekawostka. Mięśnie oczu to najwięksi atleci. Są niezmordowane. Mogą pracować bez odpoczynku.

Nie zgodzę się. Widziałem keidyś treningi na szybkie czytanie. Wśród nich było przerzucanie wzroku z jednej strony kartki na drugą... możliwie najszybciej.

Spróbowałem... mięśnie oczu zaczęły mnie boleć już po kilkunastu sekundach. Ale poćwiczyłem trochę więcej i następnego dnia miałem zakwasy w oczach...

[Afordancja 57]

 

 

następnego dnia miałem zakwasy w oczach...

whaaat? Wow, jak się to objawia?  po prostu "oczy" napierdzielają(sorry za słownictwo) ?

nie sądzilem, że jest ot mozliwe. rozumiem doraźny ból oczu, ale zakwasy...

[pogo 102]

Ból za każdym razem gdy nie patrzyłem prosto... ale też nie jakiś specjalnie mocny. Oznaki były tylko przy patrzeniu na boki... mięśnie od ruchów w górę i w dół były ok.

[glaude 40]

@pogo

To czego doświadczyłeś to był zwykły uraz przeciążeniowy (naciągnięcie, naderwanie, bądź mikrouraz). Nie zaś żadne zmęczenie, a tym bardziej tzw. zakwasy. Po prostu robiłeś coś nienaturalnego dla mięśni gałkoruchowych- trenowałeś "wydłużone" sakkady.

Mięśnie szybkie odpowiedzialne za te ruchy są stworzone do precyzyjnych, ale bardzo krótkich skoków. Długie skoki je naciągają i powodują mikrourazy. To z tym miałeś do czynienia, ponieważ oczy nie wyewoluowały do technik szybkiego czytania i taki wysiłek nadwyręża ich strukturę. Chociaż podejrzewam, że po dłuższym treningu te dolegliwości udałoby się wyeliminować.

Przy fizjologicznych ruchach (wodząco-śledzących, czy sakkadach) mięśnie oczu są niezmordowane. I to jest niepodważalne.

Spróbuj natomiast iść w spokojnym tempie przez np. 10 godzin. Już tego samego dnia "poczujesz" dystans, a następnego będziesz "umierał" razem ze swoimi mięśniami nóg i kręgosłupa. I to tylko przy fizjologicznym spacerze w wolnym tempie! No chyba, ze jesteś wytrenowanym maratończykiem albo chodziarzem.

Edytowane 26 stycznia 2015 przez glaude

[thikim 119]

Jak napisał glaude. Nie ten rodzaj ruchów. Hmm, i tak, właśnie taki rodzaj ruchów byłby potrzebny do precyzyjnego sterowania.

To nie jest problem jak sie to robi automatycznie używając tego co ewolucja dała. Ale jest zarąbisty problem jak to robić świadomie i celowo.

Sakkady są szybkie i nie męczące - i to co je dyskwalifikuje to że są  MIMOWOLNE.

A przy sterowaniu jest konieczny celowy ruch, z rozmysłem - szybki, świadomy. Chyba że się bawimy to nie ma to większego znaczenia.

I jeszcze jedno o czym nikt nie pomyślał:

Kiedy pracuje ręka i jest że tak powiem nadajnikiem danych do sterowania, oko może spokojnie odbierać.

Kiedy oko zatrudnimy jako nadajnik do sterowania to będzie problem z jednoczesnym odbieraniem.

Zauważcie że w czasie grania (na poważnie) pracuje intensywnie duet: oko - ręka.

Chyba nei chcecie zrobić z tego układu: oko - oko. Bo ciężko jednocześnie sterować oczami i widzieć tyle co bez tego sterowania.

W pewnych specyficznych zastosowaniach nowe metody sterowania się przyjmą bo zaoferują coś nowego.

Ale myszka + klawiatura jest szczytem możliwości sterowania przez człowieka. Nic lepszego nikt nie wymyślił i nie wymyśli. Dopiero wbudowanie komputera w mózg może coś zmieni.

Palce oferują: szybkość, świadomość ruchu, nie męczą się łatwo i dają precyzję.

Jedna ręka na myszce, druga na klawiaturze a wzrok mamy wolny na bodźce wzrokowe, słuch na słuchowe, nos na węchowe

Edytowane 26 stycznia 2015 przez thikim

[glaude 40]

@thikim

2 doby grzebałem w sieci, swoich materiałach (papierowych) i zasobach swojej pamięci i muszę przyznać Ci rację. Sterowanie ręką jest najskuteczniejsze: najszybsze i najbardziej precyzyjne. Mało tego, może się odbywać przy niepełnych danych wzrokowych (wyrywkowych- czyli nieciągłych) a na dokładkę uwaga wzrokowa (to na co patrzy plamka żółta siatkówki) nie musi być skupiona na kontrolowaniu ruchu ręki. Jednym słowem do nawigowania ruchu ręki wystarczy peryferium siatkówki.

 

Dzieje się tak dlatego, że percepcja wizualna świata (to co odbieramy jako świadomość wzrokową) jest przetwarzane w korze mózgu tzw. szlakiem dolnym (brzusznym). Natomiast aspekty sterowania ruchowego i percepcja ruchu odbywa się w szlaku górnym (grzbietowym). To fakt znany od dość dawna. To co mnie jednak najbardziej zaskoczyło odnośnie rozwiązania sterowania gier, o które Ci chodziło- to brak artykułów w prasie medycznej i neuropsychologicznej. Nikogo to widać nie interesuje.

 

I nagle mnie olśniło. Głuchoniemi!!!

Przecież oni bez przerwy w ten sposób funkcjonują. No i wszystko jest dokładnie przebadane (nie tak jak odnośnie nawigowania gier). Okazało się, że oni świetnie a do tego błyskawicznie i bezbłędnie nawigują ruchami swoich dłoni i palców, a są to ruchy bardzo precyzyjne. A na koniec najlepsze. Percepując ruchy swojego rozmówcy (tzw. miganie) głuchoniemy nie śledzi w ogóle jego dłoni. Cały czas patrzy się na jego twarz! Dzieje się tak dlatego, że mimiką w języku migowym komunikuje się znaki interpunkcyjne (wykrzyknik, znak zapytania itp.) i używa też jak emotikonów. Jest to więc ważniejsze dla "słuchającego" niemego niż znaki dłoni, gdyż ustala całą tzw. prozodię- a w zdaniach wielokrotnie złożonych jest ona kluczowa do zrozumienia. I mimo to ruchy palców i dłoni migającego są bezbłędnie odczytywane przez patrzącego. To tym bardziej godne uwagi, że miganie jest w trójwymiarze, tzn. że te same znaki pokazane bliżej lub dalej rozmówcy mają trochę inne znaczenie.

Tak więc ostrość wzroku (a co za tym idzie uwaga świadomości wzrokowej), która jest nastawiona tylko na twarz rozmówcy nie przeszkadza kompletnie w dokładnym odczytywaniu znaków jego dłoni i równoczesnym nadawaniu swoich znaków (migania) do niego. A to dlatego, że systemy nimi zawiadujące są przetwarzane równolegle i zupełnie niezależnie od siebie.

 

P.S.

Nawiasem mówiąc znacznie prostszy jest przykład kierowcy. Świetnie wszystko widzi i jednocześnie prowadzi samochód. A używa do tego (jednocześnie) i rąk i nóg. Takie badanie można łatwo wykonać na symulatorze samochodu (np. program gry na laptopie) i oglądanie pracy mózgu grającego na EEG (potencjały wzrokowe) a może nawet na fMRI i katalogowaniu liczby błędów. Choć z fMRI mogą być problemy, bo ono ma fatalną rozdzielczość czasową.

[Astroboy 34]

Czyli jednak sterowanie za pomocą dłoni i stóp. Jestem za.