Как единството изгражда своето бъдеще на ar, vr и ai

Unity е най-широко използваната 3D платформа за развитие в света. Той захранва 40 процента от първите 1000 мобилни игри и повече от половината от всички нови мобилни игри, според фирмата за анализи на приложения Apptopia. Заедно с Unreal Engine, двата популярни игрални двигателя са в основата на повечето игрови изживявания в мрежата.

Въпреки това пространството за 3D развитие е много по-пренаселено, отколкото преди, особено що се отнася до разширена и виртуална реалност.

Unity служи като градивни елементи или се интегрира с повечето по-нови AR / VR платформи, включително ARKit на Apple и ARCore на Google, но сега също се справя с конкуренцията от харесванията на Amazon Sumerian и други интерфейси за плъзгане и пускане, които искат да опростят опита за по-малко технически създатели.

За да изпревари конкуренцията и да развие своята платформа за нарастваща екосистема от нови устройства и 3D изживявания, Unity настоява за двустранна стратегия, ръководена от своите AR / VR и AI подразделения. PCMag разговаря с Тони Париси, глобален ръководител на търговските решения на VR / AR, и Дани Ланге, вицепрезидентът на AI и машинното обучение на Unity, за вътрешен поглед върху бъдещето на Unity и как платформата и игрите, които създава, стават по-умни, без вие дори го осъзнавате.

Поглед на Unity на AR / VR пейзажа

IDC прогнозира, че разходите за AR / VR продукти и услуги ще достигнат 27 милиарда долара тази година, а пазарът расте само от там. Париси каза, че Unity има за цел да подкрепи всяка платформа в пространството.

„Преди три или четири години, преди да се присъединя, Unity започна да прави значителни инвестиции в нововъзникващия VR пазар - Oculus Rift, HTC Vive, Samsung Gear VR и др. - с цел да създаде своеобразна пълноценна система за разработчици така че не им се налага да се забъркват в детайлите на ниско ниво как да поддържат тези платформи, "каза Париси. „Стигнахме до момента, в който пишете повечето от своите приложения веднъж и можете да ги пренесете на тези устройства.“

Това не е общо вярно, каза той, защото приложение, което създавате за слушалки за мобилни зрители, ще бъде проектирано малко по-различно от приложение, оптимизирано за компютърно изживяване. Но според вътрешните показатели на Unity, понастоящем платформата разполага с 69 процента от опит Oculus Rift, 74 процента на HTC Vive, 87 процента на VR на Gear и 91 процента от опита на смесена реалност (MR) в Microsoft HoloLens.

• Работа с растяща екосистема

  Париси работи в AR / VR от средата на 90-те, като работи върху 3D визуализацията. Той създаде VRML файлов формат и други спецификации, залегнали в основата на WebGL, и създаде и работи за няколко други VR компании. Той се присъедини към Unity в края на 2016 г., за да ръководи рекламата, маркетинга и стратегията в AR, VR, MR и по-широкия чадър за разширена реалност (XR).

  "веднага след бума на Pokemon Go, който беше нещо като това опростено AR повече за местоположението, отиването някъде и намирането на Pokemon, плюс малко камерата. Това е фактор, който продължаваме да увеличаваме. Става въпрос за местоположението толкова, колкото е за потапянето ", каза Париси.

  На лицевата страна на AR Париси говори за това как Facebook и Snap използват платформите си за разработчици Camera Effects и Lens Studio, за да развият това, което можете да направите с камерите на смартфоните, за да картографирате средата около вас. Свързването на AR на базата на смартфон и слушалки са преживявания като играта Star Wars: Jedi Challenges, която също беше създадена с Unity и работи със смартфон, комбиниран със слушалки Mirage AR на Lenovo.

  Следващата вълна са телефони с поддръжка на операционна система AR чрез ARKit на Apple и ARCore на Google, заяви Париси. Както при Amazon Sumerian, Unity си партнира с Apple и Google за създаване на AR съдържание, използвайки 3D инструменти. Unity служи и като основа за отворени източници на инструменти на Google, като Tilt Brush и Blocks. Париси предвижда споделен допълнен свят, който обхваща мобилни операционни системи.

  "Apple и Google са страхотни партньори. Имаме дълбоки взаимоотношения с тях, за да развием и подкрепим тези преживявания и XR съдържание чрез 3D инструментите на Unity", каза Париси. "Много от демократизираните инструменти за създаване, които не са за кодери или разработчици или професионални дизайнери, са вградени в нашия двигател. Още по-хубавото е, че можете да вземете модели на Blocks или Tilt Brush art и да ги внесете в други приложения на Unity, подобно на всеки друг софтуер което влиза в Единството."

  От гледна точка на MR и VR, големите устройства и софтуерни плейъри са Oculus, HTC и, разбира се, Microsoft и неговата екосистема на Windows Mixed Reality. Unity изгражда 3D приложения за всички тях, но Microsoft малко размива линиите между смесена и виртуална реалност, каза Паризи. HoloLens е устройство за смесена реалност, но слушалките за Windows Mixed Reality са VR.

  "Индустрията все още се справя с това, което трябва да наричаме всичко това", каза Париси. "В зависимост от това дали проектирате съдържание, което смесва дигитален с реалния свят срещу навлизането в напълно потапящ свят, имате различни предизвикателства. В VR, предизвикателствата пред производителността са по-високи. Трябва да създадете напълно синтетичен свят. Това означава, че PC VR-слушалки, базирани на VR, издавани с 90 кадъра в секунда, взривяващи производителността. Смесената реалност е по-малко интензивна, но също така трябва да се приспособи в реално време към цялата среда, която обработва."

• Еволюцията на създаването на 3D съдържание

  Unity е демократизиран инструмент за създаване на 3D за разработване на потапящо съдържание. Има безплатни, плюс и Pro версии, които можете да закупите за месечни абонаментни такси, и това е безплатно. Така че това, което изграждате с Единството, е ваше. В момента Unity поддържа изграждането на около 30 различни платформи, от смартфони и компютърни операционни системи до множество игрови системи, смарт телевизори и VR слушалки.

  Напоследък Unity се използва за създаване на широк спектър от потапящо съдържание и преживявания. Те варират от серия на филма на Sundance, наречена „Сфери“, която позволява на зрителите да изследват космически сблъсък на две черни дупки в VR, до играта на CocoVR на Disney, която използва 360-градусови проекции, транспортиращи играчи в „Земята на мъртвите“ на филма Pixar.

  Parisi също говори за използването на Unity за изграждане на забавни VR игри като Beat Saber и разширени преживявания, включително MLB At Bat AR приложението, което позволява на зрителите на бейзбола да насочват смартфоните си към играта и да виждат статистики на екрана над играчите.

  Unity може да изгради всички тези видове приложения, но има много нюанси, които трябва да се вземат предвид при дизайна. PC-базираните преживявания са по-мощни, което позволява по-големи 3D модели в по-богата среда, а слушалки като Oculus Rift и HTC Vive също ви дават контролери за вход, заедно с проследяване на позицията и промяната в стаята. Паризи каза, че трябва да проектирате за този вид приложение по различен начин, отколкото бихте искали да гледате с 3 градуса на свобода при слушане като слушалката на Google Daydream View. Не е толкова лесно, колкото натискането на бутон, но Unity е работил, за да гарантира, че 3D съдържанието, което създавате, може да се премества от едно устройство на друго без много прекодиране.

  Освен приложенията за игри и развлечения за AR / VR преживявания, един от въпросите, с които Unity се сблъсква напоследък, е как да подобри средата си за създаване на 3D, за да се погрижи за различни индустрии, нива на умения и да използва случаи. Както при инструментите за разработка с нисък код, насочени към задоволяване както на сериозни кодери, така и на нетехнически потребители, Unity измисля начини да накара интерфейса, магазина на активи и останалата част от своята платформа да работи за различни видове компании и потребители, за да разшири своите клиенти база.

  "Разгледахме тези различни индустрии, където AR и VR се появяват. Това може да бъде автомобилостроене, филм, архитектура, медицина или други организации, където разпространявате софтуер на стотици хиляди места", каза Париси. "Това са напълно различни светове, различни предприятия, различен произход и инструменти за производство. Първоначално бяхме фокусирани върху индустрията за мобилни устройства и игри, защото там беше растежът, но сега колелото се завъртя и времето е подходящо да вземем тази игра и да я донесем към някои от тези други индустрии сега, защото светът върви B2B."



Текущи AR / VR ограничения

В момента най-голямата пречка за по-широкото приемане на MR и VR не е липсата на съдържание, а хардуерните ограничения, що се отнася до комфорта и преносимостта спрямо изчислителната мощ, каза Паризи. Удареното пътуване на предстоящите слушалки Magic Leap служи като пример за учебници в опитите да се свие достатъчно мощен процесор в достатъчно малък форм-фактор за масово потребление.

„Предизвикателно е да се създаде смесена реалност, която да работи около хола ви, а не да се движите по открити улици“, каза Паризи. „Намираме се на място, където все още преживяваме итерации на хардуера, за да намерим сладкото място между изчислителната мощност и преносимостта. С VR слушалки можете да се движите, докато не почувствате този шум от жицата. Имаме нужда от друго начин за предаване на тези данни. Тази жица е болка; тя нарушава потапянето. Няколко минути бях някъде другаде, но после получих нещо заплетено около крака си."

От страна на AR ограниченията са различни; това е много повече за компютърното зрение и процесора за 3D графики в реално време Когато става въпрос за компютърно зрение и използване на различни видове машинно обучение (ML), за да се попълнят пропуските и да се направят AR / VR преживяванията по-интелигентни и по-безпроблемни, това е мястото, където се развива нарастващият AI отдел на Unity.

• AI стратегия на единството

  Unity използва AI по множество различни начини, от подобряване на играта и дизайна на двигателя до проследяване на поведението на потребителите и промяна на начина, по който разработчиците на игри могат да осигурят приходи от своите приложения. Екипът на AI, който наброява повече от 100 служители по целия свят, се ръководи от Дани Ланге, вицепрезидент на AI и машинно обучение на Unity.

  Ланг се присъедини към Unity преди около 18 месеца, след като беше ръководител на машинното обучение в Uber и генерален мениджър на Amazon Machine Learning. Работил е също в IBM и Microsoft. Той дойде в света на игрите с различна гледна точка на ML и помогна да превърне традиционните усилия на Unity в по-амбициозни проекти.

  „Бизнес като Amazon и Uber са толкова силно задвижвани от машинно обучение. Влизайки от свят на самоуправляващи се автомобили в тази среда за 3D игри, вие искате да потърсите идеалното място, за да прокарате границата на изкуствения интелект“, каза Ланге.

  „Когато дойдох, се проведоха редица усилия за машинно обучение, в които натрупах опит с укрепването на обучението и динамичните системи, където основно подобряваш поведението“, продължи Ланге. „Това е нещо, което направихме много както в Amazon, така и в Uber. Независимо дали изпращате книги, или оптимизирате за безпроблемен пикап за Uber, всички тези неща всъщност не са хората, които седят и проектират, а компютърните системи се учат къде да казват вие къде да се запознаете с вашия шофьор на Uber. И когато дойдох в Unity, видях огромна възможност да приведа тези идеи в света на игрите."

  Както обясни Ланге, ML проектите на Unity обхващат всичко - от играта до монетизацията. В един случай екипът търси групи от потребители, които имат определени модели на разход, които разработчиците на Unity искат да осигурят приходи от реклама или покупки в приложение. Тогава Unity предоставя тези резултати на разработчиците за по-ефективна дългосрочна ангажираност.

  Компанията също прилага ML за подобряване на геймплея, дизайна на двигателя и помощ при процеса на създаване на съдържание. Общата стратегия на Unity е по същество разделена между страната за развитие на по-голямо ниво на обслужване и по-напредналите научни изследвания в дълбочина. Ланге каза, че това също се вписва в това, което отделът на Паризи прави с разработката на XR, където Unity дава на изследователите 3D графична среда за тестване на нови ML алгоритми.

  "AR и VR всъщност са фантастични области за машинно обучение и AI. Често мисля за AI като подобрена реалност и реалността е трудно да се справи", каза Ланге. "Трудно е да се измислят фиксирани алгоритми, които разбират всичко в една стая и могат да припокрият тази стая. Наистина не можете да кодирате това. Трябва да използвате машинно обучение и AI, за да поставите виртуални обекти в стая, която разпознава, че таблицата е повърхност и ако го поставите на ръба на таблицата, той ще падне. Това са области, където машинното обучение играе много важна роля поради това динамично поведение в реалния свят; разбиране на дълбочината и размерите във виртуалните пространства. Ние сме целящи да изведат водещия ръб на дълбокото учене, за да революционизират начина, по който тези игри се създават и се държат."



Машинно обучение зад кулисите

От страна на разработката на играта и играта, Lange отдръпна завесата в това как Unity вгражда ML алгоритми в опита, за да автоматизира процеса на създаване и итерация.

"Ние улавяме много поведенчески данни: когато една игра започне - колко време сте играли, през кои сцени преминавате в тази игра", каза Ланге. "В този смисъл използваме машинно обучение и анализиране на данни в подобен контекст с това, което правят Amazon или Google - събираме поведенчески данни и ги връщаме обратно на разработчика на играта. Това е нещо като еквивалент на уеб аналитика, като ви дава данни за действие да използвате веднага, за да видите на какви нива играчите се забиват, какви сцени не работят и т.н."

Тези данни могат да се използват за оптимизиране на фактори като покупки в приложението и реклама, но Ланг каза, че алгоритмите помагат да се намери баланс между показването на потребителско съдържание, което ги интересува, и осигуряването на приходи от игри до крайност. На макро ниво той обясни, че става въпрос повече за създаването на непрекъснат цикъл от поведенчески данни, за да помогнете на игрите да се развиват органично, като ръчния разработчик работи от уравнението.

"Машинното обучение е мястото, където можете да вземете данни и да започнете да осъществявате връзки", каза Ланге. „Когато поставите това в цикъл, като това, което често ще видите в играта, данните водят до прогнози от играта и играчите. Това създава повече поведенчески данни и сега всъщност имате система, която може да взаимодейства и да се учи от потребителите и как те си взаимодействат помежду си. Едно от нашите големи начинания е да използваме AI технологията за създаване на повече органични игри, които се развиват с използването."

• Агенти за машинно обучение

  Най-важният начин, по който Unity прави това, е чрез ML Agents, бета инициатива с отворен код, която превръща игри и 3D симулации в обучителни площадки за автономни интелигентни агенти. По същество Unity позволява на разработчиците да разгърнат тези гъвкави агенти на ML във всеки сценарий и те ще действат като гъба: учене и еволюция по персонализиран начин въз основа на каквато виртуална среда да ги пуснете.

  „Моята дефиниция за машинно обучение срещу AI е, че с машинното обучение събирате данни, обучавате системата и това е всичко“, обясни Ланге. "AI е, когато системата се преквалифицира постоянно и става все по-добра и по-добра. Искаме игрите да могат да се развиват. Една от нашите обществени инициативи за популяризиране това е Агентите за машинно обучение."

  Unity има няколко целеви аудитории за своите ML агенти. Един от сценариите е за разработчиците, позволявайки на тези автоматизирани герои да се движат и да взаимодействат с играчите. Вместо да кодират действията си, ML агентите учат чрез подсилване, тъй като те симулират различни нива и помагат на разработчиците бързо да тестват игри, действащи като виртуални играчи, тестващи паралелно хиляди нива на игри.

  Друг случай за използване на агентите на ML се концентрира около разказа. Ланг каза, че Unity тества агентите, като се опитва да разбере какво ще направи играчът след това и след това да ги последва в движение. Идеята е да се разбере какво правят човешките играчи и как играта ще компенсира тези решения в по-голямата схема на разказа. В игри, в които милиони играчи са активни, ML агентите могат да учат и да настройват нивата на играта или сюжетните линии в масивен мащаб.

  В симулацията „Goodboy“ по-горе екипът на Lange изгради проста мобилна игра, използвайки модел за машинно обучение от инструментариума на ML-Agents на Unity. В играта малкият корги изважда пръчка със сладки движения, всичко това без да е трудно кодирано. Вместо това неговите действия и поведение се контролират от агентите на ML. Unity планира да работи с партньори на платформата за разширяване на ML агентите до всички поддържани от Unity платформи.

  "Ако мислите за този вид способности в играта на това, което ние наричаме наративно ниво, това не е героите, които се движат в играта, които задължително се контролират, а самия разказ на играта. Така че всъщност играта се опитва да ви играе в някои много вълнуващи пътища. Така че можете да имате избор да тръгнете наляво или надясно по пътека и играта в основата си ще организира редица събития въз основа на това, което предсказвате, че ще направите, пет, 10, 15 хода от сега, " - каза Ланге.

  "Можете да си представите как това може да работи в мултиплейър игра", продължи той. „Един от класическите примери: в началото на играта двама души се срещат. Един отнема цялото злато от друг играч и след това се разделя с лоша кръв между тях. Така играта ще осигури разказ, при който всеки играч завършва заедно на място, където да оцелеят, те ще трябва да работят заедно. Те трябва да преминат мост, а те могат да го правят само заедно, в противен случай те са извън играта. Би било много трудно да се кодира пътя ви през това с широко симулации, но с ML агентите играта може динамично да създава тези видове симулации."

• Изграждане на виртуални светове с помощта на AI

  Демото на „Пирамидите“ по-горе е среда, показваща резултатите от проект за укрепване, наречен Curiosity, при който ML агентите бързо изследват свят, за да открият скритите награди на картата.

  Друга страна на AI операциите на Unity включва използването на ML за създаване на по-потапящи сцени и текстури при генериране на 3D съдържание. Ланг каза, че това е по-ново, но много обещаващо поле, където автономните системи в играта могат да генерират съдържание, контролирано от движение и да попълват естествени движения, научавайки как се движи герой, човек или животно и след това имитира тази анимация в игра.

  "Имаме хиляди разработчици, които тестват това", каза Ланге. „От академична страна започнахме да виждаме много студенти и докторанти от НАСА в MIT и Института на Пол Алън в Сиатъл, които пускат неща на Unity. Току-що се срещнах с разработчици в Лондон, които разглеждат това за развитие на NPC, които наистина настояват ограничение за графична производителност с iPhone и Android устройства."

  Unity също има двигател, наречен Extreme AI за картографиране на личности на герои, подобно на това как Amazon Sumerian изгражда AI-инфузирани „хостове“. За неиграемите герои в игра Unity започна да експериментира с това за по-естествена симулация през последната година или две, каза Ланге.

  „Така че, ако искате да построите робот или автомобил със самостоятелно управление или да проектирате къща, можете да го направите в Unity и да населите тази къща с NPC“, каза Ланге. "Можете да симулирате 1000 семейства, живеещи в тази къща, и да събирате информация за това как героите се движат наоколо. Вратите се отварят ли по правилния начин? Има ли достатъчно светлина в стаите? Ако направите това в облака, бихте могли да имате 1000 различни къщи с 1000 различни семейства. Това може да изглежда извън пътя на самите игри, но в основата на всичко това стои игровата технология."

• Бъдещето на потапящите приложения

  С увеличаването на амбициите на AR / VR и изкуствения интелект на компанията, Unity търси отвъд играта за ново поколение 3D приложения. Един пример е автомобилната индустрия, за която наскоро Unity създаде специален екип, който да помогне за създаването на AR / VR съдържание за клиенти, включително Audi, Toyota, Lexus и Volkswagen. Паризи каза, че Unity се стреми да приложи силата на своята екосистема за разработчици на много платформа, за да внесе създаването на AR / VR в нови индустрии.

  "Променяме начина, по който проектирате автомобили, правите филми; как правите всички тези неща като компания, която знае как да продава на разработчиците на игри", каза Париси. "Като пример, да кажем, че Ford иска да създаде приложение в лабораторията си за иновации. Те разполагат с хардуер и софтуер от висок клас, след което Rift излиза и решават просто да го направят на компютър за игри. Пуснаха реклама и шансовете са, че някой в ​​района на Детройт е програмист на Unity. Този човек започне да разработва прототипи, той се превръща в екип за иновации от три лица и след това те започват да разработват нови начини да правят дизайн на автомобили, за да заменят физическите прототипи."

  Parisi също вижда много потенциал за намаляване на триенето, що се отнася до AR и електронната търговия. Голямата точка на пречупване е ратифицирането на World Wide Web Consortium (W3C) на WebXR, нов стандарт, който ще позволи на AR и VR опита да се изпълняват като уеб приложения директно в настолни и мобилни браузъри.

  Представете си, че в социалната си емисия ще видите реклама за нов кухненски уред и след това плъзнете този 3D модел в смесена риалити среда, свързана с вашата камера, за да видите как изглежда в кухнята ви. За да може този вид технология за 3D реклама да работи масово, Паризи каза, че уеб практиката трябва да бъде безпроблемна. Ако трябва да инсталирате приложение, за да видите всеки 3D обект, маркиран с виртуална информация, само за да го свържете с вашата камера, моделът не работи, но Unity вижда себе си като инструмент заедно със стандарти като WebXR, които могат да преодолеят тези пропуски в съвместимостта.

  Паризи предвижда бъдеще, в което форматният фактор за AR / VR преживявания е самостоятелно устройство за забавление, било то вътрешно изживяване, приложение, базирано на местоположение, или корпоративна симулация за обучение. Той каза също, че потребителският интерфейс трябва да стане напълно потапящ. Технологията все още не е там, но той не вярва, че е толкова далеч, колкото някои може да си помислят.

  "Някои хора смятат, че ще бъдат минали десетилетия, преди да успеем да стигнем до наистина добра потапяща слушалка или очила с достатъчно изчислителна мощност", каза Париси. „Когато вземете предвид всички чудотворни пробиви в миниатюризацията на всички тези изчислителни аспекти - процесор, графичен процесор, 5G мрежи - след няколко години може да успеем да преместим част от тази обработка до ръба или нагоре към облака. бъдете всичко, но общият елемент определено е потапящ потребителски интерфейс, където можете да натиснете бутон и да изпитате напълно реализирани цифрови символи или многопластови среди, съчетаващи цифровия и реалния свят."