Тензорните звена на Google променят правилата за машинно обучение

Едно от най-интересните и неочаквани съобщения, които Google направи на конференцията си за разработчици за I / O миналата седмица, беше, че е проектирал и внедрил свои собствени чипове за машинно обучение. По време на своето главно изявление, главният изпълнителен директор на Google Сундар Пичай представи това, което нарече Tensor Processing Units (TPUs), като каза, че компанията ги използва в своите AlphaGo машини, които победиха шампиона Go Lee Lee Sedol.

„TPU-ите са с порядък по-висока производителност на ват от комерсиалните FPGA и GPU-та“, каза Pichai. Въпреки че не даде много подробности, отличителният хардуерен инженер Google Норм Джопи обясни в публикацията в блога, че TPU е персонализирана ASIC (специфична за приложение интегрална схема). С други думи, това е чип, специално създаден за работа с машинно обучение и специално пригоден за TensorFlow, рамката за машинно обучение на Google.

В поста Джупи каза, че е "по-толерантен" към намалената изчислителна точност, което означава, че изисква по-малко транзистори на операция. Това позволява на Google да получава повече операции в секунда, като позволява на потребителите да получават резултати по-бързо. Той каза, че платка с TPU се вписва в слота за твърд диск в стелажите на нейния център за данни и показа изображение на сървърни стелажи, пълни с TPU, които според него се използват в машините на AlphaGo на компанията.

Освен това Джоупи каза, че TPU вече работят върху редица приложения в Google, включително RankBrain, използвани за подобряване на релевантността на резултатите от търсенето и Street View, за да подобрят точността и качеството на картите и навигацията.

На пресконференция вицепрезидентът на Google за техническа инфраструктура Urs Hölzle потвърди, че TPU работи с помощта на 8-битово цяло число, вместо по-високоточната математика с плаваща запетая, за която са проектирани повечето съвременни процесори и графични процесори. Повечето алгоритми за машинно обучение могат да се справят с данни с по-ниска разделителна способност, което означава, че чипът може да се справи с повече операции в дадена област и да се справи с по-сложни модели ефективно. Това не е нова идея; модулът Nvidia Drive PX 2, обявен по-рано тази година в CES, е способен на 8 терафлопа при 32-битова точност с плаваща запетая, но достига до 24 дълбоко изучаващи се „тераопи“ (терминът на компанията за 8 -бито математично число).

Въпреки че Hölzle отказа да навлиза в спецификата, според докладите той потвърждава, че Google днес използва както TPU, така и GPU. Той каза, че това ще продължи известно време, но предположи, че Google разглежда графичните процесори като твърде общи, предпочитайки чип, по-оптимизиран за машинно обучение. Той каза, че компанията ще пусне документ, в който ще опише ползите от чипа по-късно, но поясни, че те са предназначени само за вътрешна употреба, а не за продажба на други компании. Друго приложение, което той описа, беше да използва чиповете, за да се справи с част от изчисленията зад двигателя за разпознаване на глас, използван на телефона с Android.

Изборът да използвате ASIC е интересен залог от Google. Най-големият напредък в машинното обучение през последните години - технологията, която стои зад големия тласък на дълбоките невронни мрежи - е приемането на графични процесори, по-специално на линията Nvidia Tesla, за обучение на тези модели. Наскоро Intel закупи Altera, водещ производител на FPGAs (програмируеми полеви масиви на портата), които са някъде по средата; те не са с обща цел като графични процесори или като специално разработени за TensorFlow като чип на Google, но могат да бъдат програмирани да изпълняват различни задачи. Microsoft експериментира с Altera FPGA за задълбочено обучение. IBM разработва своя TrueNorth Neurosynaptic чип, създаден специално за невронни мрежи, който наскоро започна да се използва в различни приложения. Cadence (Tensilica), Freescale и Synopsys изтласкват своите DSP (цифрови сигнални процесори), за да стартират тези модели; Mobileye и NXP наскоро обявиха чипове, създадени специално за ADAS и самоуправляващи се автомобили; и няколко по-малки компании, включително Movidius и Nervana, обявиха планове за чипове, специално проектирани за AI.

Рано е да се знае кой подход ще бъде най-добър в дългосрочен план, но наличието на някои много различни опции означава, че вероятно ще видим интересна конкуренция в следващите няколко години.