У дома Мненията Как предупрежденията за фалшиви новини на openai предизвикаха действителни фалшиви новини

Как предупрежденията за фалшиви новини на openai предизвикаха действителни фалшиви новини

Съдържание:

Видео: Multi-Agent Hide and Seek (Ноември 2024)

Видео: Multi-Agent Hide and Seek (Ноември 2024)
Anonim

Изследователската лаборатория с нестопанска цел AI OpenAI предизвика вълна от паника на апокалипсис на AI миналия месец, когато въведе най-модерния AI за генериране на текст, наречен GPT-2. Но докато отбелязва постиженията на GPT-2, OpenAI обяви, че няма да пусне своя AI модел пред обществеността, опасявайки се, че в неправилни ръце GPT-2 може да бъде използван за злонамерени цели, като генериране на подвеждащи новинарски статии, представяне на други онлайн и автоматизиране на производството на фалшиво съдържание в социалните медии.

Предвидимо, съобщението на OpenAI създаде потоп от сензационни новинарски истории, но въпреки че всяка напреднала технология може да бъде въоръжена, AI все още има доста далеч, преди да овладее генерирането на текст. Дори и тогава е необходимо повече от генериране на текст AI, за да се създаде криза с фалшиви новини. В тази светлина предупрежденията на OpenAI бяха преуморени.

AI и човешки език

Компютрите исторически са се борили да се справят с човешкия език. В писмения текст има толкова много сложности и нюанси, че преобразуването на всички тях в класически софтуерни правила е практически невъзможно. Но последните постижения в дълбоките учебни и невронни мрежи проправиха пътя за различен подход при създаването на софтуер, който може да се справи с езикови задачи.

Дълбокото обучение донесе големи подобрения в области като машинен превод, обобщаване на текст, отговаряне на въпроси и генериране на естествен език. Тя позволява на софтуерните инженери да създават алгоритми, които развиват собственото си поведение, като анализират много примери. За задачи, свързани с езика, инженерите захранват дигитално съдържание от невронни мрежи като новини, страници в Уикипедия и публикации в социалните медии. Невронните мрежи сравняват внимателно данните и отбелязват как определени думи следват други в повтарящи се последователности. След това те превръщат тези модели в сложни математически уравнения, които им помагат да решават свързани с езика задачи като предвиждане на липсващи думи в текстова последователност. Като цяло, колкото повече качествени данни за обучение предоставяте на модел за задълбочено обучение, толкова по-добре става при изпълнение на задачата си.

Според OpenAI GPT-2 е обучен на 8 милиона уеб страници и милиарди думи, което е много повече от други подобни модели. Той също така използва усъвършенствани AI модели за по-добро прилагане на текстови модели. Примерен изход от GPT-2 показва, че моделът успява да поддържа съгласуваност в по-дълги последователности на текста от своите предшественици.

Но докато GPT-2 е крачка напред в областта на генерирането на естествен език, това не е технологичен пробив към създаването на AI, който може да разбере смисъла и контекста на писмения текст. GPT-2 все още използва алгоритми за създаване на последователности от думи, които са статистически подобни на милиардите откъси от текст, които преди е виждал - няма абсолютно никакво разбиране за това, което генерира.

В задълбочен анализ Tiernan Ray на ZDNet посочва няколко случая, в които изходните образци на GPT-2 предават изкуствената си природа с добре известни артефакти като дублиране на термини и липса на логика и последователност във фактите. „Когато GPT-2 премине към справяне с писането, което изисква повече развитие на идеи и логика, пукнатините се отварят доста широко“, отбелязва Рей.

Статистическото обучение може да помогне на компютрите да генерират текст, който е граматически правилен, но е необходимо по-задълбочено концептуално разбиране за поддържане на логическа и фактическа последователност. За съжаление, това все още е предизвикателство, което настоящите смеси от AI не са преодолели. Ето защо GPT-2 може да генерира хубави абзаци от текст, но вероятно ще бъде силно притиснат да генерира автентична статия с дълги форми или да се представя за убедително някой и за продължителен период от време.

Защо паниката с фалшиви новини не е преуморена

Друг проблем с разсъжденията на OpenAI: Предполага се, че AI може да създаде криза с фалшиви новини.

През 2016 г. група македонски тийнейджъри разпространиха фалшиви новини за президентските избори в САЩ сред милиони хора. По ирония на съдбата те дори не са имали подходящи английски умения; те намираха своите истории в мрежата и шиеха заедно различно съдържание. Те бяха успешни, защото създадоха уебсайтове, които изглеждаха достатъчно автентични, за да убедят посетителите да им се доверят като надеждни новинарски източници. Сензационни заглавия, небрежни потребители на социални медии и тенденциозни алгоритми направиха останалото.

Тогава през 2017 г. злонамерените участници предизвикаха дипломатическа криза в региона на Персийския залив, като хакнаха катарските държавни уебсайтове и държавните акаунти в социалните медии и публикуваха фалшиви забележки от името на шейха Тамим бин Хамад Ал Тани, емира на Катар.

Както показват тези истории, успехът на кампаниите с фалшиви новини зависи от създаването (и предаването) на доверието, а не от генерирането на големи количества съгласуван английски текст.

Предупрежденията на OpenAI за автоматизиране на производството на фалшиво съдържание за публикуване в социалните медии обаче са по-основателни, тъй като мащабът и обемът играят по-важна роля в социалните мрежи, отколкото в традиционните медии. Предположението е, че AI като GPT-2 ще бъде в състояние да наводни социалните медии с милиони уникални публикации по конкретна тема, влияейки на тенденциозни алгоритми и публични дискусии.

Но все пак предупрежденията не достигат реалността. През последните няколко години компаниите за социални медии непрекъснато развиват способности за откриване и блокиране на автоматизирано поведение. Така злонамерен актьор, въоръжен с AI за генериране на текст, ще трябва да преодолее редица предизвикателства, освен създаването на уникално съдържание.

Например, те ще се нуждаят от хиляди фалшиви акаунти в социалните медии, в които да публикуват своето генерирано от AI съдържание. Още по-строги, за да се уверят, че няма начин да свържат фалшивите акаунти, те ще се нуждаят от уникално устройство и IP адрес за всеки акаунт.

Влошава се: Сметките трябва да бъдат създадени по различно време, евентуално над година или повече, за да се намалят приликите. Миналата година разследване на New York Times показа, че само датите за създаване на акаунт биха могли да помогнат за откриването на бот акаунти. След това, за да скрият допълнително своя автоматизиран характер от други потребители и алгоритми за полицейско управление, акаунтите ще трябва да участват в човешко поведение, като взаимодействие с други потребители и задаване на уникален тон в публикациите им.

Нито едно от тези предизвикателства е невъзможно да се преодолее, но те показват, че съдържанието е само една част от усилията, необходими за провеждането на кампания за фалшиви новини в социални медии. И отново доверието играе важна роля. Няколко доверени социални медии, които пускат няколко фалшиви новинарски публикации, ще имат по-голямо въздействие от куп неизвестни акаунти, генериращи голям обем съдържание.

В защита на предупрежденията на OpenAI

Преувеличените предупреждения на OpenAI предизвикаха цикъл от медийни шумове и паника, които по ирония на съдбата граничат с фалшивите новини, предизвиквайки критики от известни експерти в областта на ИИ.

Те поканиха медиите да получат ранен достъп до резултатите, с ембарго в печата, така че в същия ден всичко стана публично достояние. Няма изследователи, които знам, че трябва да видят големия модел, но журналистите го направиха. Да, умишлено го взривиха.

- Мат Гарднър (@nlpmattg) 19 февруари 2019 г.

Всеки нов човек потенциално може да бъде използван за генериране на фалшиви новини, разпространяване на теории за конспирация и влияние върху хората.

Трябва ли да спрем да правим бебета тогава?

- Yann LeCun (@ylecun) 19 февруари 2019 г.

Просто исках да ви насочим всички нагоре, нашата лаборатория намери невероятен пробив в разбирането на езика. но също така се притесняваме, че може да попадне в грешни ръце. затова решихме да го запишем и вместо това публикуваме само обикновените * ACL неща. Голямо уважение към екипа за страхотната им работа.

- (((? () (? () 'Yoav)))) (@yoavgo) 15 февруари 2019 г.

Закари Липтън, изследовател на AI и редактор на „Приблизително коректно“, посочи историята на OpenAI за „използването на техния блог и превъзхожда вниманието към катапултираната незряла работа в публичния изглед и често играе аспектите на човешката безопасност на работата, която все още няма интелектуална крака, на които да се опрем.

Въпреки че OpenAI заслужава цялата критика и топлина, които получи след заблуждаващите си забележки, също така е правилно да бъдете искрено притеснени от възможните злонамерени употреби на своята технология, дори ако компанията използва безотговорен начин да образова обществеността за това.

  • Годината на етическото отчитане на AI индустрията Годината на етичното отчитане на AI индустрията
  • Нечестно предимство: Не очаквайте AI да играе като човек Нечестно предимство: Не очаквайте AI да играе като човек
  • Този AI предсказва онлайн тролинг, преди да се случи Този AI прогнозира онлайн тролинг, преди да се случи

През изминалите години видяхме как AI технологиите, направени публично достояние без мисъл и размисъл, могат да бъдат въоръжени за злонамерени намерения. Един пример беше FakeApp, приложение AI, което може да сменя лица във видеоклипове. Скоро след излизането на FakeApp той е използван за създаване на фалшиви порнографски видеоклипове, в които са представени известни личности и политици, което предизвиква безпокойство заради заплахата от фалшифициране, задвижвано от AI.

Решението на OpenAI показва, че трябва да направим пауза и да помислим за възможните последствия от публично пускането на технологиите. И трябва да водим по-активни дискусии относно рисковете от AI технологиите.

„Една организация, която спира пауза на един конкретен проект, всъщност няма да промени нещо дългосрочно. Но OpenAI получава много внимание за всичко, което правят… и мисля, че трябва да бъдат аплодирани, за да обърнат внимание на този въпрос“, Дейвид Бау, a изследовател в лабораторията за компютърни науки и изкуствен интелект на MIT (CSAIL), каза пред Slate.

Как предупрежденията за фалшиви новини на openai предизвикаха действителни фалшиви новини