Съдържание:
- Защо Amazon залага на AR / VR
- Как Амазонка построи шумерски
- Създаване на 3D шумерски приложения
- Стратегия на Amazon: интегриране с всички
- AI домакините на шумерите са игра на игра
- Издърпване на гласовите услуги зад Алекса
- Скриптираща логика в потапящи светове
- Симулиран метеоролог на Weatherbug
- Аддисън, виртуалният болногледач
- Производителите на пари: B2B и IoT
- Всичко се връща към AWS
- Визията на Amazon за нашето AR / VR бъдеще
Видео: ÐÑÐµÐ¼Ñ Ð¸ СÑекло Так вÑпала ÐаÑÑа HD VKlipe Net (Ноември 2024)
Amazon прави велик вход в пространството за разширена и виртуална реалност с Sumerian, универсална платформа за разработка, която може да изгражда AR и VR приложения за смартфони и слушалки и - доста скоро - AR / VR приложения, които ще работят правилно във вашия браузър.
В рамките на тези преживявания шумерите могат да създават потапящи виртуални светове, населени от "домакини" - 3D герои, оживени от същия техник за изкуствен интелект, който властва Alexa.
Шумерският е платформно-агностичен. Вместо да разработи собствено марково устройство или слушалки, Amazon избра интеграция със съществуващите предложения. Sumerian е изграден върху отворени уеб стандарти и поддържа както ARKit на Apple, така и ARCore на Google, което означава, че създателите на приложения могат да създадат едно шумерско приложение, което работи на Android, iOS, Oculus Rift, HTC Vive и по-нататък.
Като ново допълнение към Amazon Web Services, Sumerian се предлага с помощта на модела, базиран на използването на тази услуга, вместо абонамент и се свързва с други AWS услуги.
Amazon пусна визуализация на Sumerian през ноември, когато беше обявена за първи път, но преди очакваното му стартиране през май, PCMag получи ексклузивен поглед вътре в Sumerian и няколко ранни клиентски приложения.
Кайл Рош, генерален мениджър на Amazon Sumerian, ме проведе през демонстрация на платформата за създаване на 3D приложения. Разгледах обиколка на редактора на приложения за плъзгане и пускане на Sumerian и библиотеката с 3D обекти, неговата Visual State Machine за скриптове на сложни автоматизирани сцени и влязох в процеса на създаване на изкуствено интелигентни хостове, с които можете да провеждате пълни разговори с тези виртуални преживявания,
Говорих и с Марко Аргенти, вицепрезидент, който ръководи не само AR / VR, но и подразделенията AWS Mobile, без сървърни изчисления и IoT. Amazon има амбициозни планове за шумерски и още по-голяма визия за разширената роля и виртуалната реалност в комбинация с AI ще играе в нашето свързано бъдеще.
-
Защо Amazon залага на AR / VR
Навлизането в изцяло нова индустрия или сфера никога не е спирало Amazon досега. Просто погледнете Whole Foods, Amazon Video или неговите усилия в здравеопазването и фармацевтичната индустрия.
Рош се пошегува, че името Sumerian идва от научнофантастичната книга Snow Crash (която Amazon всъщност се адаптира като поредица) а идеята за „домакини“ дойде от Westworld на HBO. Но според Аргенти решението на Amazon да влезе в AR / VR пространството всъщност се свежда до три основни фактора: появата на разширена реалност на базата на смартфони; неизползвани VR възможности на пазара за бизнес (B2B); и помага на клиентите на AWS да решават точки на болка с неща, които вече се опитват да направят.
„Тези сигнали бяха достатъчно силни, за да започнем да влизаме в процеса на проектиране на шумерски. По класическия начин на Amazon, ние започнахме да работим назад от случаите на използване на клиенти и след това в крайна сметка финансирахме екип за разработка, който да изгради продукта“, обясни Аргенти.
В B2B приложенията са включени сценарии като интерактивна цифрова табела (помислете, че гигантските говорими холограмни реклами от Blade Runner: 2049 ), виртуално обучение и множество индустриални Интернет на нещата използват случаи, като например датчици за създаване на цифрови близнаци и сложни симулации. Argenti също подчерта значението на това, че базираната на смартфони AR достига точка на прегъване чрез ARKit и ARCore.
"Камерата се превръща в много мощен инструмент за взаимодействие с реалността и изследване на света около вас", каза той. „Бързите графични процесори могат да наслагват информация в реално време, а сензорите могат да помогнат за изграждането на 3D реалност. Идеята е, че имате висококачествен сензорен сензор с високо качество в ръцете на милиони хора.“
-
AI домакините на шумерите са игра на игра
Домакините са една от най-уникалните търговски точки в Шумер. Хостът е 3D-анимиран герой, който можете да поставите в AR или VR сцена. Потребителите могат да задават въпроси на домакините, а разработчиците могат да сценарират сложен набор от действия, поведение, жестове и движения, които домакинът може да изпълнява, докато провежда разговори и обикаля сцени. Amazon черпи вдъхновение за домакините от всякакви места, включително онлайн игри като Second Life и The Sims, каза Рош.
В момента Sumerian има два хоста по подразбиране - Кристин и Престън, но ще стартира цяла поредица хостове през тази година. Amazon вгради много нюанси в тези AI герои. Рош ми показа демонстрация на Кристин, където той завлече водещия на сцената и отвори панела за инспектор, за да персонализира нейните емоции, изражение на лицето и жестове. Amazon автоматично ще генерира жестове, докато домакинът разговаря въз основа на естествената езикова обработка на разговора. Така че, ако Кристин каже „Здравей“, това може да предизвика жест на размахване.
С нещо, наречено система за интерес, можете да поставите отметка в квадратчето в редактора, така че очите на хоста винаги да обръщат внимание на камерата. Така че, ако носите HTC Vive Pro, разхождайки се на 360-градусово пространство, домакинът може да ви последва. Ако става въпрос за AR приложение, свързано с камерата на вашия смартфон, Roche обясни, че системата за дълбоко обучение Rekogservation на Amazon може да извърши анализ на лицето както къде сте, така и къде е лицето ви в кадъра, за да изглежда така, че домакинът гледа назад през екрана ви директно към вас. Дава ви илюзията за контакт с очите.
Клиентите могат също така да създават свои собствени персонализирани хостове от нулата, като използват Maya SDK на Amazon, но Amazon предоставя основния скелет, от който можете да коригирате външния вид, диалекта и флектите на хоста, езика и други. В дългосрочен план Amazon обмисля начини да улесни създаването на хостове. Аргенти говори за идеята за генератор на хостове за аватари от първо лице или за използване на разпознаване на лица, за да съответства на изобразени герои с реални хора.
„Във връзка с Rekogservation, ако процедурно генерираме колкото се може повече от тези знаци, можем да се опитаме да ви съпоставим с най-близкия аватар. Ще направим вашата снимка и ще пуснем обратно разпознаване на лицето и ще я съпоставим с произволен знак, за да ви дадем хост, който изглежда като версия на вас."
Аргенти обясни как интегрирането на други AWS услуги като услугата за обработка на естествен език Amazon Comprehend може да направи хостовете още по-реалистични. Разбиране анализира текст за извличане на метаданни върху неща като анализ на настроението и настроенията. Така домакинът може да има различно изражение на лицето или начин или говорене въз основа на настроението на човека, с когото общуват.
"Ако са ядосани, може би домакинът ги успокоява", каза Аргенти. "Има еволюция не само в начина, по който предаваме информация, но и как я представяме чрез задълбочен анализ на настроенията."
Как Амазонка построи шумерски
Amazon започна да мисли за това как ще изглеждат AR и VR за клиентите на AWS в края на 2016 г. и предварителен преглед, дебютиран в AWS re: Изобретете около година по-късно. Между тях се случиха няколко неща.
Първо, Amazon купи фалирал шведски стартъп, наречен Goo Technologies; нейната 3D среда за създаване, Goo Create, стана основата на интегрираната среда за развитие (IDE) на Шумер.
Визуалното 3D моделиране на Goo Create също беше уеб-базирана облачна услуга, но Amazon направи стъпка по-далеч, като премести задния край на AWS. Има много предимства за изграждане на базата на мащабируемата облачна инфраструктура, която вече притежавате, но голяма е драстично намаляването на латентността. Рош каза, че една от най-големите продавани точки на Sumerian е, че въпреки колко мощен е редакторът, няма какво да изтеглите или инсталирате. По време на демонстрацията Sumerian се зарежда от URL адрес на браузър за секунди. Дори правенето на обработка на естествен език в реално време (NLP) и създаването на сложни анимации не го забави много.
Както при платформите за разработка с нисък код, Sumerian може да се използва на основно ниво, без почти никакъв опит на програмист. Въпреки това, кодери и учени могат да отидат много по-задълбочено с програмируеми API и интерфейс на командния ред на Sumerian, за да персонализират сцени и да пишат сложна логика на приложението.
"Искаме преживяване, при което щракнете и веднага сте на сцената", каза Аргенти. "Тогава имате 3D графични инструменти, където можете да плъзгате и пускате обекти. Sumerian е визуален инструмент, който може да асоциира какво се случва, когато се извършват действия или събития, потенциално без да се пише ред код."
Създаване на 3D шумерски приложения
По-широката философия на дизайна, която Amazon следва с Sumerian, е да затвърди възможностите за създаване. Рош каза, че идеята е да се маскират много от повтарящите се задачи за развитие, така че основният процес за изграждане на приложението на Шумер е същият, независимо от AR и VR платформите, на които в крайна сметка го публикувате.
Започва или с избор на шаблон, или с прескачане направо в създаването на нова сцена. Някои от шаблоните по подразбиране на Шумер включват сцени като офис помещения, учебни зали и складове, товарен кораб и открит огън на открито. Основният редактор поддържа WebGL и WebVR и е изложен по същия начин, както много от ниско кодовите инструменти, които сме тествали.
Вляво е панел с образувания. Субектът по същество е таблица в база данни, която ви помага да управлявате данните, които се изтеглят в приложението ви. Под това е прозорецът на активите, където можете да търсите обектите, които искате да издърпате на сцена или да отворите пълната библиотека с активи на всички 3D модели на Sumerian. Рош каза, че Sumerian притежава редица обектни библиотеки с отворен код и се интегрира с API на Sketchfab. Amazon също се интересува от интеграция с платформи като TurboSquid и Google AR-VR / VR обектна библиотека, каза той. Можете да импортирате собствените си активи и в шумерски и да ги пуснете на сцена.
„Панелът на активите може да служи като зона на падане за тръбопровод за регулиране“, обясни Рош. „Можете да плъзнете най-често срещаните 3D файлови формати; ние ще ги преобразуваме, оптимизираме и съхраняваме за вас. Едно от нещата, които правим в задния край, е ако използвате един и същ актив в множество сцени, ние всъщност ще създам референтна връзка за вас."
В средата на екрана е основното платно, където можете да плъзгате и пускате активи и 3D модели в сцена. В ъгъла на платното е бутон за стартиране на преглед на WebVR на вашата сцена.
По-долу е редакторът на времевата линия, който работи подобно на инструментите за редактиране на видео. Докато дърпате анимации и звуци в рамки и използвате Visual State Machine за създаване на действия, поведение на хост и прогресии на събитията, всичко това ще се покаже в времевата линия, където можете да коригирате как едно състояние преминава в друго.
Дясната колона е панелът за инспектори, който показва подробностите за всички компоненти, които разглеждате и как можете да ги персонализирате. За модел, който има може би сто различни вариации, можете да коригирате неща като атрибути и текстури, без всъщност да докосвате сцената.
Стратегия на Amazon: интегриране с всички
Sumerian играе не само в пространството за разработка на 3D с платформи като Unity, Unreal Engine и Vuforia, но и в по-широката AR / VR екосистема, заедно с ARKit, ARCore и Windows Mixed Reality. Рош заяви, че Sumerian прилага философията „изгради веднъж, пусни навсякъде“ към AR / VR приложенията и особено за фирмени разработчици.
"Pro 3D разработчиците или про аниматорите имат студио, което работи с тях. Но повечето разработчици в мрежата или мобилните програми учат нещо като Unity на работата", каза Рош. "Unity е страхотно, но да бъдеш наистина добър в него е значително по-трудно, отколкото да вземеш уменията, които имат - като ако са добри в JavaScript - и да ги облекчи в 3D по този начин. Затова решихме да се съсредоточим върху това част от пазара."
Sumerian поддържа няколко основни отворени стандарта: WebGL, WebAR, WebVR и идващата рамка WebXR, която ще донесе AR / VR приложения на всички устройства и браузъри на всички платформи. Консорциумът за световна мрежа (W3C) ще гласува за ратифициране на WebXR през следващите месеци. В този момент приложенията на Шумер ще могат да се изпълняват директно в браузърите.
Между WebGL, WebVR и WebXR Sumerian е напълно платформно-агностичен, а шумерските публикувани родни обвивки, за да се интегрират директно с ARKit и ARCore за AR-приложения, базирани на смартфони. Рош каза, че Sumerian може да изгражда приложения за всяка платформа, която поддържа WebVR, което означава не само Oculus Rift и HTC Vive, но и Samsung Gear VR, Google Daydream View и други. Sumerian също работи в тясно сътрудничество с екипа на Google Chrome в WebXR за приложения, базирани на браузъра.
Другият основен играч в залата е Microsoft. Докато Amazon не стигна дотам, че Sumerian ще се интегрира с екосистемата на смесената реалност на Windows, Roche каза, че най-новата версия на RS4 на Microsoft HoloLens включва поддръжка на WebAR, което означава, че Sumerian може да пуска сцени от HoloLens. Amazon също гледа други слушалки от компании като Magic Leap и Meta, но неговият подход дава на шумерския полза от гъвкавостта.
"Ние направихме избор. Можехме да тръгнем по пътя на правенето на собствено нещо и да тласкаме разработчиците към това", каза Аргенти. "Това, което решихме вместо това, е да бъдем максимално широки в подкрепата на това, което смятаме, че ще бъде масивен пазар. След като всичко се премести към WebXR, цялата екосистема на устройството идва заедно с него. Ще продължим след основата."
Издърпване на гласовите услуги зад Алекса
Домакините не са много добри, ако не могат да говорят. Не можете да кажете „Hey Hey“ в шумерско приложение по същия начин, по който можете да активирате Cortana в Windows Mixed Reality. Вместо това Amazon използва автоматичното API за разпознаване на реч и естествения език за разбиране на езика зад Alexa, за да позволи на домакините да провеждат разговори.
Sumerian е интегриран с Amazon Lex и Amazon Polly. Поли е услуга за текст в реч, която превръща текст в скриптове, с които хост може да говори. Lex е NLP двигател за изграждане на разговорни интерфейси, което е начинът, по който хостовете могат да разберат и да отговорят на това, което потребителите казват в AR или VR приложение. Понастоящем Sumerian поддържа повече от две дузини езика чрез Polly и има функция за синхронизиране на устните, която ще съответства на движенията на устата на домакина с честотата на езика или речта.
"Гласът е среда, която наистина има смисъл, докато сте потопен в AR или VR", каза Аргенти. "Искам да говоря с един герой, ако мога да го видя как стои там. Затова взехме два от тези инструменти от групата на AI и се опитахме наистина да ги персонифицираме. Искаме сцената да може да ни слуша и да реагира. Така че можете да вземете цял Lex поток, както бихте направили за чатбот и просто да го плъзнете върху героя. По много начини всъщност е по-лесно, отколкото да изградите умение за Alexa."
Скриптираща логика в потапящи светове
Visual State Machine на Sumerian е мястото, където можете да изложите сложни последователности и виртуални симулации. Използвайки визуалния редактор на времевата линия или пълния интерфейс на JavaScript, създателите на приложения и разработчиците могат да скриптират логиката, контролираща как хостове или други обекти във вашите сцени реагират на различни действия. Например Шумерски включва летящ дрон обект, който бихте могли да скриптирате да летите наоколо.
Всичко това се усложнява, когато въведете реални обекти в уравнението. Тъй като Аргенти контролира също така безработните изчислителни и IoT разделения в AWS, той говори за това как свързването на шумерски с AWS услуги като Lambda и Greengrass може да отвори повече възможности за сложни симулации. Greengrass е начин за модели на машинно обучение да работят локално на IoT устройства. Помислете за обучение на ML модел на данните, които се получават от машина на фабричен етаж, и след това издърпайте този алгоритъм в шумерски, за да симулирате същата машина, използвайки AI.
"Наистина може да има симулиран свят в AR и VR, където всеки герой или предмет е интелигентен от обучението за машинно обучение в реалния свят", каза Аргенти. "В крайна сметка искате да се опитате да възстановите реалността по възможно най-реалистичния начин. Днес можем да се сближим, но това все още не е от поведенческа гледна точка до симулиране как действително работят нещата."
Симулиран метеоролог на Weatherbug
Когато Amazon ме преведе през няколко демонстрации на клиенти на шумерски, първоначално бях изненадан, когато първият беше приложение за времето.
Но както обясни генералният мениджър на WeatherBug Оливие Винсънт, виртуалната реалност има много по-голям смисъл за данните за времето, отколкото бихте си мислили. Тъй като хората започнаха да проверяват времето си в приложения, а не да гледат прогнози по телевизията, Винсент каза, че метеорологичните доклади са загубили едно от най-добрите си щрихи: местният синоптик пред зелен екран.
„Времето е да ви каже какво се случва в даден момент на дадено място. Можете да го направите по приятен двуизмерен начин в приложението си за бърз поглед, но ние знаехме колко популярни метеоролозите и жените са били през годините“, - каза Винсент. „Така че идеята е да се въведе този клиент в рамките на по-потапящо преживяване в приложението.“
WeatherBug изгради една шумерска сцена с виртуално студио за новини с анкерно бюро и зелени екрани и заложи на метеоролога по подразбиране домакина на Амазонка. Приложението изтегля текущите данни за времето за вашето местоположение, които домакинът ще ви чете обратно като част от персонализирана прогноза за времето. От основното приложение WeatherBug, Винсент стартира VR зрителя, който се увеличава чрез 3D модел на Манхатън, тъй като Кристин дава прогнозата, завършена с високи и ниски температури и падащи снежинки.
Аддисън, виртуалният болногледач
Базираната в Ню Мексико технологична компания за управление на здравето Electronic Caregiver имаше много по-различен шумерски опит.
Компанията предлага технологии за възрастни хора като носими с бутон за медицинска помощ, но също така създаде решение, наречено Addision Care, което намалява разходите за домашни грижи и използва разговорен AI за оценка на рисковете на възрастните пациенти от падания. Компанията пуска павилион в аптеки, болници и клиницисти, които анализират походката на пациента, използвайки машинно обучение. Софтуерът също използва Addison, персонализиран шумерски хост, за да разхожда потребителите чрез словесен въпросник за тяхната история на падане.
"Да накараш възрастните да възприемат технологията не е толкова лесно", заяви CTO по електронен път Брайън Часко. "Когато стане по-добре, гласовата технология ще ангажира този пазар. Никога няма да ги накарате да седнат пред клавиатура и мишка, но с Addison те просто могат да проведат разговор."
Електронният Caregiver работи над Addison от години, разработвайки 3D героя, използвайки Amazon Lex и Polly. Компанията е един от клиентите на AWS, които помогнаха на Amazon да концептуализира болковите точки, които би могъл да реши с шумерски и как да автоматизира тръбопровода за създаване на AR / VR.
Judah Tveito, виртуален разработчик в Electronic Caregiver, заяви, че шумерите са предприели процеси, над които са работили от месеци, и са го превърнали в няколко кликвания. Компанията работи и върху мобилно приложение на Addison.
В крайна сметка електронният гледач предвижда Аддисън като вътрешен виртуален болногледач, каза Часко. За възрастни потребители, които живеят самостоятелно, AI може да направи неща като напомняне им да приемат лекарства или автоматично да се обадят на номер 911, ако има спад или друга медицинска спешност.
"Един от най-големите проблеми, с които смятаме, че може да се справи с тях, е изолацията, която възрастните чувстват, когато живеят сами", каза Часко. „Наистина искаме да имаме постоянна домашна среда в денонощието, в която, когато не говориш с Аддисън, си в банята и падаш, а просто можеш да извикаш:„ Имам нужда от помощ “може да спаси много животи."
Производителите на пари: B2B и IoT
Amazon говори много за това как шумерските приложения могат да живеят в интерактивни цифрови табели. Представете си, че някой минава през лобито на хотела, мола или стадион и вижда домакин, който върви покрай тях на екран. Може да звучи страховито, но хостовете също могат да обработват контекстуална информация като местоположение, за да превърнат рекламата в персонализиран разговор. Argenti вижда хостове като виртуални разширения на марката на компанията, които могат да се променят според това, от което се нуждае бизнесът.
"Ако поставите тези приложения някъде с камера, можете да си представите 3D герой, който да се занимава лично с вас: да знаете кой сте, може би последния път, когато сте били на мястото, или дори последното нещо, което сте поръчали", каза Аргенти.
"Круизен кораб е добър пример. Домакинът може да каже:" Ей, въз основа на това къде се намирате на кораба в момента, вашата резервация след 20 минути, няма да го направите. Искате ли да го бутна обратно 15 минути? Има и визуален аспект към преживяванията, които създавате отново. Домакинът, който ви говори за пътуване, ще изглежда различен от този, който ви говори за вашите финансови стратегии. Добавянето на информация за местоположение може да промени знаците в зависимост от това къде те намират себе си; начинът, по който се обличат, и начинът, по който се движат, нагръдките, които имат “.
Amazon проучва гама от B2B и IoT приложения за шумерски клиенти. На индустриалния фронт, Аргенти каза, че Nokia са съставили система със сензори и визуализации, за да наблюдават околната среда в контейнерите за превоз, за да измерват неща като вътрешна температура и абсорбция на удар, без всъщност да ги отварят.
"Можете да си представите свят на AR, където свързваме милиони устройства към AWS и получаваме много сензорни данни, идващи от реалния свят", каза той. "Тогава можем да използваме AR с триангулация, за да идентифицираме обект и да покажем подходяща информация отгоре му. Има огромно приложение за всичко, което варира от сервиз и ремонт до мониторинг, безопасност и т.н."
Има и широки възможности за електронна търговия, когато работите с виртуални активи. Всеки 3D модел в шумерски език, който идва от собствения каталог за пазаруване на Amazon, има потенциал да спечели такси за препращане на разработчици, ако го добавите към AR / VR сцена. Това е начин както за предприятията, така и за по-малките фирми и независимите разработчици на AWS да осигурят приходи от своите шумерски приложения.
Argenti предвижда много възможности за кросоувър между шумерския и търговския отдел на Amazon.
"Можем да преодолеем част от работата, която нашият екип за търговия на дребно върши обзавеждане на дома, електроника за дома и други продукти с висока стойност за създаване на 3D модели", каза той. "Тогава можете да ги използвате за фотореалистично преминаване на пространство. Как да създам модерен таванско помещение? Какви мебели да организираме?"
Всичко се връща към AWS
Изграждането на мостове към всички AR / VR устройства и платформи навън има интелигентен начин да се намали бариерата за навлизане в AR / VR разработката, не само за B2B компании, но и за разработчици като цяло. В същото време, най-завладяващият бизнес стимул зад шумерския е инструмент за стимулиране на по-широкото използване на AWS. Това важи както за съществуващите клиенти, които изпробват новата услуга, така и за новите шумерски потребители, които след това започват да използват услугите за съхранение, изчисления, обработка, AI и други услуги на Amazon, защото всички те са интегрирани в практиката. Моделът на ценообразуване също е привлекателен, тъй като Amazon не налага предварителни такси. AWS таксува само за това, което използвате.
Всичко това е част от това, което Amazon вижда като по-голям цикъл, където всичко протича през AWS. Данните идват от IoT устройство, обработват се чрез AWS Lambda функция, разгръщат се на AWS Greengrass, за да стигнат до AWS IoT, където обучават модул за машинно обучение и в крайна сметка се изтеглят като 3D модел в AR визуализация в шумерски.
Визията на Amazon за нашето AR / VR бъдеще
Amazon се надява, че шумерите могат да играят роля в стимулирането на индустрията за създаване на триизмерни продукти на масовия пазар и намаляване на разходите. От страна на AR Аргенти каза, че основните активи са налице благодарение на ARKit и ARCore. Той каза, че моментът ще дойде, когато има достатъчно приложения и видео съдържание от разработчиците. От страна на VR, големите промени, които Amazon се надява да забележат, са хардуерът да намалява, да става по-малко тромав за носене и да работи безжично.
"Когато това се случи и можете да носите VR опит като чифт очила, VR наистина ще излети", каза Аргенти. „Мисля, че трябва да бъде толкова естествено, колкото да гледате видео на таблет или да включите телевизор, преди да е готов за масово потребление на същото ниво като другите екрани, които имаме днес. Как го правите, развивате около него екосистема на създатели на съдържание, рекламодатели, крайни потребители и компании, които се грижат за тези потребители. “
Аргенти също подчерта важността на потапянето в преживяванията във виртуална и смесена реалност. Друг от случаите на целево използване на Amazon за шумерски приложения е образованието и обучението. Независимо дали се научите как да използвате медицинско устройство, да обслужвате превозно средство или да научите нов език, той каза, че става въпрос за това да ви изхвърлят в среда, която се чувствате възможно най-висцерално като реалния свят.
„Бихте могли да седнете във френско бистро и да научите езика, без всъщност да сте там“, каза той. „Аватарите на домакините ви говорят френски. Менютата са на френски. И тогава в рамките на тази реалност, можете автоматично да докоснете някое меню и да го видите да превежда, прекарвайки пръста си върху елемент, за да видите думите да се променят на друг език. Толкова голяма част от образованието е контекстуално, и като инструмент за учене, да имаш опит да ангажираш всичките си сетива е силно."