Компютърната фотография е готова за своя близък план

Над 87 милиона американци са пътували в международен план през 2017 г., което е рекорден брой според Националната служба за пътуване и туризъм на САЩ. Ако бяхте сред тях, може би сте посетили дестинация като Стоунхендж, Тадж Махал, залив Ха Лонг или Великата китайска стена. И може би сте използвали телефона си, за да снимате панорама, може би дори да се въртите по целия път с телефона си, за да заснемете супер широк, 360-градусов изглед на пейзажа.

Ако сте били успешни - което означава, че не е имало несогласни секции, винетки или цветови промени - тогава вие сте имали прост, но ефективен пример за изчислителна фотография. Но през последните няколко години компютърната фотография се разшири отвъд такива тесни приложения. Тя може не само да ни даде различна гледна точка на фотографията, но и да промени начина, по който гледаме на нашия свят.

Какво е компютърна фотография?

Марк Левой, професор по компютърни науки (emeritus) в Станфордския университет, главен инженер в Google и един от пионерите в тази нововъзникваща област, определи компютърната фотография като разнообразие от „техники за изчислителни изображения, които подобряват или разширяват възможностите на цифровата фотография изходът е обикновена снимка, но такава, която не би могла да бъде направена от традиционна камера."

Според Джош Хафтел, главен продуктов мениджър в Adobe, добавянето на изчислителни елементи към традиционната фотография дава нови възможности, особено за изображения и софтуерни компании: „Начинът, по който виждам компютърната фотография, е, че ни дава възможност да направим две неща. тях е да опитат и да засилят много от физическите ограничения, които съществуват в рамките на мобилните камери."

Намирането на смартфон за симулиране на малка дълбочина на полето (DOF) - отличителен белег на професионално изглеждащо изображение, тъй като визуално отделя обекта от фона - е добър пример. Това, което пречи на камера на много тънко устройство, като телефон, да не може да заснеме изображение с плитък DOF са законите на физиката.

„Не можеш да имаш плитък дълбочина на полето с наистина малък сензор ", казва Хафтел. Но за голям сензор е необходим голям обектив. И тъй като повечето хора искат телефоните им да са ултратънки, голям сензор, сдвоен с голям обемист обектив, не е опция. Вместо това, телефоните са изградени с малки лещи и малки сензори, създавайки голяма дълбочина на полето, която прави всички обекти близо и далеч в остър фокус.

Хафтел казва, че производителите на смартфони и прости камери могат да компенсират това, като използват компютърна фотография, за да „изневерят, като симулират ефекта по начини, които подмамват окото“. Следователно алгоритмите се използват за определяне на това, което се счита за фон и какво се счита за преден план. Тогава камерата симулира плитка DOF чрез размиване на фона.

Вторият начин, по който Хафтел казва, че може да се използва компютърната фотография, е да се използват нови процеси и техники, които да помогнат на фотографите да правят неща, които не са възможни, използвайки традиционните инструменти. Haftel посочва като пример HDR (висок динамичен диапазон).

„HDR е способността да се правят няколко снимки едновременно или в бърза последователност и след това да ги обединявате, за да преодолеете ограниченията на естествените възможности на сензора.“ В действителност HDR, особено на мобилни устройства, може да разшири диапазона на тоналите извън това, което сензорът за изображение може да улавя по естествен начин, като ви позволява да заснемете повече детайли в най-светлите светлини и най-тъмните сенки.

Когато изчислителната фотография е кратка

Не всички реализации на компютърната фотография са успешни. Два смели опита бяха камерите Lytro и Light L16: Вместо да смесват традиционните и изчислителни функции на снимки (като iPhone, Android телефони и някои самостоятелни камери), Lytro и Light L16 се опитаха да се съсредоточат единствено върху компютърната фотография.

Първият, който попадна на пазара, беше камерата на светлинно поле Lytro през 2012 г., която ви позволява да регулирате фокуса на снимката, след като сте заснели снимката. Това направи, като записа посоката на светлината, влизаща в камерата, което традиционните камери не правят. Технологията беше интригуваща, но камерата имаше проблеми, включително ниска разделителна способност и труден за използване интерфейс.

Имаше и доста тесен случай на употреба. Както Дейв Етчелс, основател, издател и главен редактор на Imaging Resource, изтъква: „Докато можехте да се съсредоточите, след като фактът беше страхотна характеристика, блендата на камерата беше толкова малка, че не можехте наистина да различите разстоянията освен ако не е имало нещо наистина близо до камерата."

Например, кажете, че снимате бейзболист по местен бейзболен диамант. Можете да направите снимка близо до оградата и също да заснемете играча през оградата, дори ако той е далеч. След това лесно променяте фокуса от оградата към плейъра. Но както Етчелс посочва: "Колко често всъщност снимате такава снимка?"

По-скорошно устройство, целящо да бъде самостоятелна изчислителна камера, беше Light L16, опит за производство на тънка, преносима камера с качество на изображението и производителност наравно с висок клас D-SLR или беззеркална камера. L16 е проектиран с 16 различни обектива и сензорни модули в едно тяло на камерата. мощен бордовият софтуер ще конструира едно изображение от различните модули.

Първоначално Etchells беше впечатлен от концепцията на Light L16. Но като действителен продукт, каза той, "имаше различни проблеми".

Например Light, камерата и фотографската компания, която прави Light L16, твърди, че данните от всички тези малки сензори биха били еквивалентни на наличието на един голям сензор. „Те също твърдяха, че това ще бъде качество на D-SLR“, казва Etchells. Но в своите тестови тестове Imaging Resource установиха, че това не е така.

Имаше и други проблеми, включително това, че определени области на снимката са имали прекомерен шум, „дори в светли области на изображението… И на практика няма динамичен диапазон: Сенките просто се включиха веднага“, казва Етчелс, което означава, че в някои секции от снимки - включително примерни снимки, които компанията използва за популяризирането на камерата - почти нямаше подробности в сенките.

"Беше просто катастрофа при слаба светлина", казва Етчелс. "Просто не беше много добра камера, период."

Какво следва?

Въпреки тези недостатъци, много компании продължават напред с новите реализации на компютърната фотография. В някои случаи те размиват границата между това, което се счита за фотография, и други видове медии, като видео и VR (виртуална реалност).

Например, Google ще разшири приложението Google Photos, използвайки AI (изкуствен интелект) за нови функции, включително оцветяване на черно-бели снимки. Microsoft използва AI в своето приложение Pix за iOS, така че потребителите да могат безпроблемно да добавят визитки към LinkedIn. Facebook скоро ще въведе функция за 3D снимки, която "е нов тип медия, която позволява на хората да улавят 3D моменти във времето, използвайки смартфон, за да споделят във Facebook". И в приложението Lightroom на Adobe фотографите на мобилни устройства могат да използват HDR функции и да снимат изображения във формат RAW файл.

VR и компютърна фотография

Докато мобилните устройства и дори самостоятелните камери използват компютърна фотография по интригуващи начини, дори Повече ▼ мощни случаи на използване идват от света на платформи с разширена реалност, като VR и AR (разширена реалност). За Джеймс Джордж, изпълнителен директор и съосновател на Scatter, потапящо медийно студио в Ню Йорк, компютърна фотография е отваряне на нови начини художниците да изразят своите визии.

„В Scatter виждаме компютърната фотография като сърцевина, позволяваща на новите творчески дисциплини, които се опитваме да направим пионерски… Добавянето на изчисления може да започне да синтезира и симулира някои от същите неща, които очите ни правят с изображенията, които ние вижте в мозъка ни “, казва Джордж.

По същество се свежда до интелигентността. Използваме мозъка си, за да мислим и разбираме образите, които възприемаме.

„Компютрите започват да могат да гледат в света и да виждат нещата и да разбират какви са те по същия начин, както ние можем“, казва Джордж. Така че компютърната фотография е "допълнителен слой на синтез и интелигентност, който надхвърля само чистото заснемане на снимка, но всъщност започва да симулира човешкия опит да възприема нещо".

Начинът, по който Скатер използва компютърната фотография, се нарича обемна фотография, която е метод за запис на обект от различни гледни точки и след това използване на софтуер за анализ и пресъздаване на всички тези гледни точки в триизмерно представяне. (И двете снимки, и видеоклипове могат да бъдат обемни и да изглеждат като 3D-холограми, по които можете да се движите в рамките на VR или AR опит.) „Особено се интересувам от способността да реконструирам нещата не само в двуизмерен начин, - казва Джордж. „В паметта ни, ако преминем през пространство , всъщност можем да си припомним пространствено къде нещата са били във връзка помежду си."

Джордж казва, че Scatter е в състояние да извлече и създаде представяне на пространство, което "е напълно и свободно навигационно, по начина, по който може да можете да се движите през него като видео игра или холограма. Това е нов носител, който се ражда от пресечната точка между видеоигрите и създаването на филми, която позволява изчислителната фотография и обемното филмово създаване."

За да помогне на другите да произвеждат обемни VR защити, Scatter разработи DepthKit, софтуерно приложение, което позволява на създателите на филми да се възползват от сензора за дълбочина от камери като Microsoft Kinect като аксесоар към HD видеокамера. По този начин DepthKit, CGI и хибриден видео софтуер, произвежда реалистични 3D форми, „подходящи за възпроизвеждане в реално време във виртуални светове“, казва Джордж.

Scatter е създал няколко мощни VR преживявания с DepthKit, използвайки компютърна фотография и обемни техники за създаване на филми. През 2014 г. Джордж си сътрудничи с Джонатан Минард за създаването на „Облаци“, документален филм, изследващ изкуството на кода, който включваше интерактивен компонент. През 2017 г. Scatter произведе VR адаптация, базирана на филма Zero Days , използвайки VR, за да предостави на публиката уникална перспектива във вътрешността на невидимия свят на кибер война - за да видят нещата от гледна точка на вируса Stuxnet.

Един от най-мощните проекти, свързани с DepthKit, е "Терминал 3", преживяване с разширена реалност от пакистанския художник Асад Дж. Малик, което беше премиерата по-рано тази година на филмовия фестивал TriBeCa. Опитът ви позволява практически да стъпите в обувките на американски граничен патрул чрез Microsoft HoloLens и да разпитате призрачна 3D обемна холограма на човек, който изглежда мюсюлманин (има шест общо знака, които можете да интервюирате).

"Асад е пакистанец, който е емигрирал в САЩ, за да посети колежа и имаше някои доста негативни преживявания, разпитвани за неговия произход и защо е там. Шокиран от този опит, той създаде" Терминал 3 ", " казва Джордж.

Един от ключовете за това, което прави преживяването толкова завладяващо, е, че екипът на Malik в 1RIC, неговото студио за разширена реалност, използва DepthKit, за да превърне видеото в обемни холограми, които след това могат да бъдат импортирани в двигатели за видеоигри в реално време като Unity или 3D графични инструменти като Maya и Cinema 4D. Чрез добавяне на данни от сензора за дълбочина от Kinect към видеоклипа D-SLR, за да се позиционира правилно холограмата във виртуалното пространство на AR, софтуерът DepthKit превръща видеото в изчислителната видео. За калибриране на D-SLR и Kinect заедно се използва черно-бял шахматен плот, след което и двете камери могат да се използват едновременно за заснемане на обемни снимки и видео.

• 10 бързи съвета за коригиране на лошите ви снимки 10 бързи съвета за поправяне на вашите лоши снимки
• 10 съвета отвъд базовите цифрови фотографии 10 отвъд основни съвети за цифровата фотография
• 10 лесни съвета и трикове за по-добри снимки със смартфон 10 лесни съвета и трикове за по-добри снимки със смартфон

Тъй като тези AR преживявания, създадени с DepthKit, са подобни на начина, по който работят видеоигрите, опит като "Терминал 3" може да доведе до мощни интерактивни ефекти. Например Джордж казва, че Малик позволява на холограмите да променят формата си, докато ги разпитвате: Ако по време на разпита въпросите ви станат обвинителни, холограмата се дематериализира и изглежда по-малко човешка. „Но когато започнете да се позовавате на биографията на човека, на неговите собствени преживявания и на техните ценности“, казва Джордж, „холограмата всъщност започва да се запълва и става все по-фотореалистична“.

Създавайки този фин ефект, той казва, че можете да разсъждавате върху възприемането на разпитващия и как те биха могли да видят човек „само като емблема, вместо действителен човек с истинска идентичност и уникалност“. По някакъв начин може да даде на потребителите по-високо ниво на разбиране. „Чрез поредица подкани, където ви е позволено да зададете един или друг въпрос - казва Джордж, - вие се сблъсквате със собствените си пристрастия и в същото време с тази индивидуална история“.

Подобно на повечето нововъзникващи технологии, компютърната фотография преживява своя дял както в успехите, така и в провалите. Това означава, че някои важни характеристики или цели технологии може да имат кратък срок на годност. Вземете Lytro: През 2017 г., точно преди Google да купи компанията, Lytro затвори pictures.lytro.com, така че вече не можете да публикувате изображения в уебсайтове или социални медии. За тези, които го пропускат, Panasonic разполага с подобна на Lytro функция за фокусиране, наречена Post Focus, която е включила в различни камери от висок клас без огледала и точки снимане.

Компютърните инструменти за фотография и функции, които видяхме досега, са само тези начало , Мисля, че тези инструменти ще станат много по-мощни, динамични и интуитивни, тъй като мобилните устройства са проектирани с по-нови, по-универсални камери и обективи, по-мощни бордови процесори и по-разширени възможности за клетъчна мрежа. В съвсем близко бъдеще може да започнете да виждате истинските цветове на компютърната фотография.