Изкуственият интелект има проблем с пристрастията и ние сме виновни

През 2016 г. изследователи от университета в Бостън и Microsoft работеха върху алгоритмите за изкуствен интелект, когато откриха расистки и сексистки тенденции в технологията, която е в основата на някои от най-популярните и критични услуги, които използваме всеки ден. Откровението противоречи на общоприетата мъдрост, че изкуственият интелект не страда от половите, расовите и културните предразсъдъци, които правим хората.

Изследователите направиха това откритие, докато изучаваха алгоритми за вграждане на думи, вид AI, който намира корелации и асоциации между различни думи, като анализира големи текстови части. Например, обучен алгоритъм за вграждане на думи може да разбере, че думите за цветя са тясно свързани с приятните чувства. На по-практично ниво вграждането на думи разбира, че терминът „компютърно програмиране“ е тясно свързан с „C ++“, „JavaScript“ и „обектно-ориентиран анализ и дизайн“. Когато е интегрирана в приложение за сканиране на възобновяване, тази функционалност позволява на работодателите да намерят квалифицирани кандидати с по-малко усилия. В търсачките той може да предостави по-добри резултати, като извежда съдържание, семантично свързано с думата за търсене.

Изследователите на BU и Microsoft откриха, че алгоритмите за вграждане на думи имат проблемни пристрастия - като например свързване на „компютърен програмист“ с местоименията от мъжки пол и „домакин“ с женски. Техните открития, които те публикуваха в изследователска статия, озаглавена „Човекът е на компютърен програмист, тъй като жената е на домашното?“ беше един от няколкото доклада за разкриване на мита за неутралитета на AI и за хвърляне на светлина върху алгоритмичните пристрастия, явление, което достига критични измерения, тъй като алгоритмите стават все по-ангажирани в ежедневните ни решения.

Произходът на алгоритмичните пристрастия

Алгоритмите за машинно обучение и задълбочено обучение са в основата на най-съвременния софтуер с AI захранване. За разлика от традиционния софтуер, който работи въз основа на предварително определени и проверими правила, дълбокото обучение създава свои собствени правила и се учи чрез пример.

Например, за да създадат приложение за разпознаване на изображения въз основа на задълбочено обучение, програмистите „обучават“ алгоритъма, като го подават с етикетирани данни: в този случай снимки, маркирани с името на обекта, който съдържат. След като алгоритъмът поема достатъчно примери, той може да събере общи модели сред сходно етикетирани данни и да използва тази информация за класифициране на незабелязани проби.

Този механизъм позволява дълбокото обучение да изпълнява много задачи, които на практика са били невъзможни със софтуер, базиран на правила. Но това също означава, че софтуерът за дълбоко обучение може да наследи скрити или явни пристрастия.

„Алгоритмите на AI не са присъщи пристрастни“, казва проф. Венкатеш Салиграма, който преподава в катедрата по Електротехника и компютърна техника в Университета на Бостън и работи по алгоритмите за вграждане на думи. „Те имат детерминирана функционалност и ще избират всички тенденции, които вече съществуват в данните, върху които се обучават.“

Алгоритмите за вграждане на думи, тествани от изследователите от университета в Бостън, бяха обучени върху стотици хиляди статии от Google News, Wikipedia и други онлайн източници, в които социалните пристрастия са дълбоко вградени. Например, тъй като брата културата доминира в технологичната индустрия, мъжките имена се появяват по-често с свързани с технологията работни места - и това води алгоритми за свързване на мъжете с работни места като програмиране и софтуерно инженерство.

"Алгоритмите нямат силата на човешкия ум да различава правилно от грешно", добавя Толга Болукбаси, докторант в БУ. Хората могат да преценят морала на нашите действия, дори когато решим да действаме в съответствие с етичните норми. Но за алгоритмите данните са крайният определящ фактор.

Saligrama и Bolukbasi не бяха първите, които повдигнаха тревога за тази пристрастие. Изследователи от IBM, Microsoft и Университета в Торонто подчертаха необходимостта да се предотврати алгоритмичната дискриминация в публикация, публикувана през 2011 г. Тогава алгоритмичните пристрастия бяха езотерична загриженост и задълбоченото учене все още не намери своя път в масовия поток. Днес обаче алгоритмичните пристрастия вече оставят отпечатък върху много от нещата, които правим, като четене на новини, намиране на приятели, пазаруване онлайн и гледане на видеоклипове в Netflix и YouTube.

Влиянието на алгоритмичните пристрастия

През 2015 г. Google трябваше да се извини, след като алгоритмите, захранващи приложението си за снимки, маркираха двама черни като горили - може би защото в обучителния му набор от данни няма достатъчно снимки на черни хора. През 2016 г. от 44-те победители в конкурс за красота, съден от AI, почти всички бяха бели, няколко бяха азиатски, а само един имаше тъмна кожа. Отново причината беше, че алгоритъмът беше обучен предимно със снимки на бели хора.

Google Photos, всички сте прецакани. Приятелят ми не е горила. pic.twitter.com/SMkMCsNVX4

- jackyalciné не отговаря на много тук. DM (@jackyalcine) 29 юни 2015 г.

Съвсем наскоро тест на службите за анализ на лица на IBM и Microsoft установи, че алгоритмите на компаниите са почти безупречни при откриване на пола на мъжете със светла кожа, но често грешат, когато са представени със снимки на жени с тъмна кожа.

Въпреки че тези инциденти вероятно са причинили незначителни щети, същото не може да се каже за алгоритмите на ИИ в по-критични области, като здравеопазване, правоприлагане и набиране на персонал. През 2016 г. разследване на ProPublica установи, че софтуерът, управляван от COMPAS - AI, който оценява риска от рецидивизъм при нарушители - е пристрастен към хората в цвят. Откритието беше особено загрижено, тъй като съдиите в някои щати използват COMPAS, за да определят кой ходи безплатно и кой остава в затвора.

В друг случай проучване на рекламната платформа на Google, което се задвижва от алгоритми за задълбочено обучение, установи, че мъжете са показвани реклами за високоплатени работни места по-често, отколкото жените. Отделно проучване откри подобен проблем с обявите за работа на LinkedIn. Друг показа, че алгоритмите за наемане на наеми са с 50 процента по-голяма вероятност да изпратят покана за интервю на човек, чието име е европейско-американско, отколкото на човек с афро-американско име.

Области като одобрение на заем, кредитен рейтинг и стипендия са изправени пред подобни заплахи.

Алгоритмичното пристрастие е още по-притеснително поради това как може да засили социалните пристрастия. Под илюзията, че AI е студено, математическото изчисление, лишено от предразсъдъци или пристрастия, хората могат да се доверят на алгоритмична преценка, без да го поставят под въпрос.

В интервю за Wired UK преподавателят по криминология на университета в Единбург Напиер Андрю Вуф отбеляза, че „полицейският свят, натиснат във времето, натискащ на времето, може да накара служителите на реда да разчитат твърде много на алгоритмични решения. „Мога да си представя ситуация, при която полицейски служител може да разчита повече на системата, отколкото на собствените си процеси за вземане на решения“, каза той. "Отчасти това може да е така, че да оправдаете решение, когато нещо се обърка."

Разчитането на предубедени алгоритми създава цикъл за обратна връзка: Ние вземаме решения, които създават по-предубедени данни, след което алгоритмите ще анализират и тренират в бъдеще.

Този вид вече се случва в социалните мрежи като Facebook и Twitter. Алгоритмите, изпълняващи емисиите за новини, създават „филтърни мехурчета“, които показват съдържание, което съответства на предпочитанията и пристрастията на потребителите. Това може да ги направи по-малко толерантни към противоположните възгледи и също така да допълнително поляризира обществото, като прокара клин чрез политическото и социалното разделение.

"Алгоритмичните пристрастия потенциално биха могли да засегнат всяка група", казва Джен Уортман Вьоган, старши изследовател в Microsoft. „Групите, които са недостатъчно представени в данните, може да са особено изложени на риск.“

В области, които вече са известни с пристрастия, като например ендемичната дискриминация на технологичната индустрия спрямо жените, AI алгоритмите могат да подчертаят тези пристрастия и да доведат до по-нататъшна маргинализация на групите, които не са добре представени.

Здравето е друга важна област, посочва Уортман. "Това може да причини сериозни проблеми, ако алгоритъмът за машинно обучение, използван за медицинска диагностика, бъде обучен на данни от една популация и в резултат на това не успява да се представи добре на други", казва тя.

Пристрастията могат да бъдат вредни и по по-фините начини. "Миналата година планирах да взема дъщеря си за подстригване и потърсих в интернет изображения на" прически за малко дете "за вдъхновение", казва Уортман. Но върнатите образи бяха почти всички бели деца, предимно с права коса и по-изненадващо, предимно момчета, забеляза тя.

Експертите наричат ​​това явление „репрезентативна вреда“: когато технологията подсилва стереотипите или намалява конкретни групи. "Трудно е да се определи или измери точното въздействие на този вид пристрастия, но това не означава, че не е важно", казва Уортман.

Премахване на пристрастия от AI алгоритми

Все по-критичните последици от пристрастията на ИИ привличат вниманието на няколко организации и правителствени органи и се предприемат някои положителни стъпки за справяне с етичните и социалните проблеми, свързани с използването на ИИ в различни области.

Microsoft, чиито продукти до голяма степен разчитат на AI алгоритмите, стартира изследователски проект преди три години, наречен Честност, отчетност, прозрачност и етика в AI (FATE), насочен към това да даде възможност на потребителите да се наслаждават на подобрената представа и ефективността на AI-захранваните услуги без дискриминация и пристрастия.

В някои случаи, като конкурса за красота, приет от AI, намирането и коригирането на източника на предубеденото поведение на AI алгоритъм може да бъде толкова лесно, колкото проверка и промяна на снимките в тренировъчния набор от данни. Но в други случаи, като алгоритмите за вграждане на думи, изследвани от изследователите от университета в Бостън, предубежденията са включени в данните за обучението по по-фини начини.

Екипът на BU, към който се присъедини изследователят на Microsoft Адам Калай, разработи метод за класификация на вгражданията на думи въз основа на техните категоризации за пол и идентифициране на аналогии, които са потенциално предубедени. Но те не взеха окончателното решение и ще управляват всяка от подозрителните асоциации от по 10 души на Mechanical Turk, онлайн пазара на Amazon за задачи, свързани с данни, които ще решат дали асоциацията трябва да бъде премахната или не.

„Не искахме да влагаме собствените си пристрастия в процеса“, казва Салиграма, професор и изследовател от БУ. "Току-що предоставихме инструментите за откриване на проблемни асоциации. Хората взеха окончателното решение."

В по-скорошна статия Калай и други изследователи предложиха използването на отделни алгоритми за класифициране на различни групи хора, вместо да използват едни и същи мерки за всички. Този метод може да се окаже ефективен в домейни, където съществуващите данни вече са предубедени в полза на конкретна група. Например, алгоритмите, които биха оценили жените кандидатки за работа по програмиране, биха използвали критерии, които са най-подходящи за тази група, вместо да използват по-широкия набор от данни, който е дълбоко повлиян от съществуващите пристрастия.

Wortman на Microsoft вижда приобщаването в индустрията на интелектуалната собственост като необходима стъпка за борба с пристрастията в алгоритмите. „Ако искаме нашите ИИ системи да бъдат полезни за всички, а не само за определена демография, тогава компаниите трябва да наемат различни екипи, които да работят върху ИИ“, казва тя.

През 2006 г. Вортман помогна за намирането на „Жени в машинно обучение“ (WiML), който провежда ежегоден семинар, на който жените, които учат и работят в индустрията на ИИ, могат да се срещат, да общуват, да обменят идеи и да присъстват на панелни дискусии със старши жени в индустрията и научните среди. Подобно усилие е новият Black in AI Workshop, основан от Timnit Gebru, друг изследовател на Microsoft, който има за цел да изгради по-разнообразен талант в AI.

Болубаси от университета в Бостън също предлага промяна на начина, по който AI алгоритмите решават проблеми. "Алгоритмите ще избират набор от правила, който максимално увеличава тяхната цел. Възможно е да има много начини за достигане до един и същ набор от изводи за дадени изходни двойки на изхода", казва той. „Вземете примера на тестове с множество възможности за избор на хора. Човек може да достигне до правилния отговор с грешен мисловен процес, но въпреки това да получи същата оценка. Тестът с високо качество трябва да бъде създаден, за да се сведе до минимум този ефект, като се даде възможност само на хората, които наистина Познайте обекта, за да получите правилни резултати.Поясняването на алгоритмите може да се разглежда като аналог на този пример (макар и да не е точен), когато изучаването на грешен набор от правила се санкционира в целта.Това е продължаващо и предизвикателно проучване тема."

Непрозрачността на AI усложнява справедливостта

Друго предизвикателство, което стои на пътя на по-справедливи AI алгоритми, е феноменът „черна кутия“. В много случаи компаниите ревниво пазят алгоритмите си: Например, Northpointe Inc., производителят на COMPAS, софтуер за предсказване на престъпността, отказа да разкрие своя патентован алгоритъм. Единствените хора, които знаят за работата на КОМПАС са неговите програмисти, а не съдиите, които го използват, за да вземат решение.

Освен корпоративната тайна, алгоритмите на AI понякога стават толкова объркани, че причините и механизмите, които стоят зад техните решения, се изплъзват дори на техните създатели. Във Великобритания полицията в Дърам използва AI система HART, за да определи дали заподозрените са с нисък, умерен или висок риск от извършване на нови престъпления в рамките на двугодишен период. Но академичен преглед на HART за 2017 г. отбеляза, че „непрозрачността изглежда трудно да се избегне“. Отчасти това се дължи на голямото количество и разнообразие от данни, които системата използва, което затруднява анализа на причините, които стоят зад нейните решения. „Тези подробности биха могли да бъдат предоставени свободно на обществеността, но ще изискват огромно време и усилия, за да се разбере напълно“, се казва в документа.

Няколко компании и организации полагат усилия за осигуряване на прозрачност на AI, включително Google, който стартира GlassBox, инициатива за по-разбираемо поведение на алгоритмите за машинно обучение, без да се жертва качеството на продукцията. Агенцията за напреднали научноизследователски проекти в областта на отбраната (DARPA), която контролира използването на ИИ във военните части, също финансира усилия, за да даде възможност на AI алгоритмите да обяснят своите решения.

В други случаи човешката преценка ще бъде ключова за справяне с пристрастия. За да попречи на съществуващите расови и социални човешки пристрастия да се промъкнат в алгоритмите на HART, Дърам Консулството предостави на членовете на своя персонал сесии за осведоменост около несъзнателни пристрастия. Полицейските сили също предприеха стъпки за премахване на точки от данни, като расови черти, които биха могли да създадат основания за предубедени решения.

Човешка отговорност

От друга гледна точка, AI алгоритмите могат да предоставят възможност за размисъл върху нашите собствени пристрастия и предразсъдъци. „Светът е пристрастен, историческите данни са предубедени, следователно не е изненадващо, че получаваме предубедени резултати“, казва Сандра Вахтер, изследовател в областта на етиката на данните и алгоритмите в Оксфордския университет, пред The Guardian .

Wachter е част от изследователски екип от Института на Алън Тюринг в Лондон и от Оксфордския университет, който публикува документ, призоваващ регулации и институции за разследване на евентуална дискриминация по AI алгоритми.

Освен това, говорейки пред The Guardian , Джоана Брайсън, компютърен учен в Университета в Бат и съавтор на изследователска книга за алгоритмични пристрастия, каза: „Много хора казват, че показва, че AI е предразсъдък. Не. Това показва, че ние предразсъдък и AI го научава."

През 2016 г. Microsoft стартира Tay, бот в Twitter, който трябваше да се учи от хората и да участва в интелигентни разговори. Но в рамките на 24 часа след старта на Tay, Microsoft трябваше да го изключи, след като започна да издирва расистки коментари, които тя бе взела от разговорите си с потребители на Twitter. Може би това е напомняне, че миналото време ние хората признаваме собствената си роля в утвърждаването и разпространението на явлението алгоритмични пристрастия и предприемаме колективни стъпки за отмяна на неговите ефекти.

„Това е много сложна задача, но е отговорност, от която ние като обществото не трябва да се отказваме от това“, казва Уахтер.