Ibm Watson помага на студентите да научат мандарина

Университетите са изминали дълъг път в изучаването си на езици, преминавайки отвъд традиционните часове в лекционна зала и предварително записани уроци без взаимодействие. Сега студентите имат достъп до технологии като изкуствен интелект (AI) и обработка на естествен език (NLP) в потапяща учебна среда. Това се случва в лабораторията за познавателни и потапящи системи (CISL) в Троя, Ню Йорк, кампуса на Политехническия институт Rensselaer (RPI). Именно тук институтът си партнира с IBM Research, за да създаде технология за шестседмичен летен курс, в който студентите взаимодействат с AI агенти в среди, които включват улични пазари и ресторанти.

Курсът, озаглавен „AI-Assisted Immersive Chinese“, разполага с 360-градусова панорамна система за показване на компютърно генерирани сцени в когнитивното потапящо помещение (CIR) на лабораторията, която също се нарича „стая за ситуации“. Виртуалните сцени се провеждат в Китай. Студентите разговарят с аватари, които се задвижват от Watson Assistant и се коригират върху тяхната реч и произношение. В CIR студентите използват разговорни AI, генериране на разказ, осъзнаване на пространствен контекст и технология за разпознаване на жестове и лице.

CIR е пример за многообразието от потенциал за IBM Watson в няколко индустрии в допълнение към образованието. Тези индустрии включват селско стопанство, човешки ресурси (HR) и управление на автопарка.

В RPI, освен Watson Assistant, студентите използват Watson Speech to Text, Watson Text to Speech и Language Translator в своите изследвания.

Студентите учат мандарин, като използват AI в кампуса RPI. (Изображение за кредит: IBM Research / RPI)

Активно учене

За Джулиан Вонг, младши в RPI, потапящият AI опит беше привлекателен начин да научи мандарин, защото му дава по-активен начин да учи. Тъй като мандаринът е тонален език, при който промяната на височината може да промени значението на думите, аватарите в опита на AI предоставят обратна връзка за тона, за да се уверят, че Вонг и другите ученици ще получат правилните произношения.

Работата с AI в CIR осигурява приятен баланс с редовното време в класната стая, според Wong. "Срещата за разговор с компютъра… определено помага за много аспекти на изучаването на езика, особено вербалните умения", каза Вонг.

Мандариновият клас на Вонг се среща четири пъти седмично. В понеделник и петък той посещава клас в традиционна класна стая с Хелън Джоу, доцент в РПИ. Там той научава нов речник и получава въведение към фрази и граматически структури. Във вторник и четвъртък класът се събира в CIR, където студентите провеждат разговори с виртуални агенти. В ресторантска среда Вонг каза, че студентите могат да преминат през целия процес на сядане в ресторанта, разглеждане на меню, поръчване на храна, разговор със сервитьор за това как се приготвя храната и заплащане на сметката. Други среди включват градина, пазар и училищен кампус.

Класът на мандарина в потапящата класна стая се различава от традиционната среда, тъй като осигурява мултимодално преживяване на език и видео, според Джоу. Тя каза, че традиционният клас ще бъде по-малко потапящ и интерактивен. "В симулацията в потапящата се класна стая имаме двама агенти, които да се бият помежду си, за да се опитат да убедят учениците да купят продукта", каза Джоу. „Така че студентите биха разбрали от личен опит, а не да гледат видеоклипове или да слушат само лекции. Вярвам, че биха набрали културата по-лесно, отколкото просто чрез учене от учебници или слушане на касети.“

В CIR студентите вземат викторини, свързани със сцените, с които са взаимодействали, и повдигат ръце, за да дадат своите отговори. Технологията за компютърно виждане от камерите в стаята улавя жестовете им. Асистентът AI дава викторина, свързана със сцената и учениците трябва да отговорят с фраза на китайски.

"Ако искате да изберете един от изскачащите прозорци, който е на екрана, тогава можете да протегнете ръка, да отворите дланта си и след това да затворите ръката си", обясни Вонг. „Вие избирате каквото и да е курсорът в момента. За малките тестове, ако знаете какъв е правилният отговор, можете да преместите ръката си към героите, които искате да изберете, и след това да затворите ръката, за да ги изберете. ще ви уведоми дали сте се оправили или не."

Виртуалният агент разбира учениците през повечето време, с изключение на случаите, когато може да няма микрофон до устата си. Системата има различни настройки за разпознаване на глас, които прибират учениците, ако са изключени с произношението си. Той също така предоставя незабавна обратна връзка в разговор, ако нямате присъстващ професор. По свое време учениците от класа на мандарин отиват на уебсайт, за да получат достъп до гласови клипове, за да практикуват.

Хубава характеристика на потапящото изживяване в RPI е пространствената контекстна осведоменост, при която множество виртуални агенти на екрана могат да кажат с кой човек осъществявате очен контакт. "Ако кажете нещо, докато гледате един агент, тогава този агент ще отговори, а не другият", каза Вонг.

Студент използва IBM Watson жест и технология за разпознаване на лице като част от клас Mandarin в RPI. (Изображение за кредит: IBM Research / RPI )

Как се развиваше потапящият опит

Потапящият опит в RPI дойде, когато професорите по език и преподавателите по дизайн на игри се срещнаха, за да обсъдят по-добър начин да преподават език. Планът за разработване на ролева игра скоро се превърна в дискусия за това как да се преподава мандарин чрез симулация на реални сценарии, според Хуй Су, който е и директор на Когнитивния потребителски опит в IBM Research и директор на CISL. IBM и RPI започнаха да разработват курса в края на 2015 г. и те създадоха съвместната лаборатория по това време. CISL след това се оформи скоро след това.

„Целта на лабораторията е да изгради познавателна и потапяща среда за подобряване на груповите дейности, за увеличаване на груповата интелигентност в контекста на учене и вземане на решения“, каза Су. "Ние също така се фокусираме върху изграждането на когнитивни потапящи заседателни зали… да разгледаме данните от критична ситуация и да се опитаме да осмислим информацията и да създадем решения или препоръки за лицата, които вземат решения."

Като част от програмата за изучаване на езици AI, IBM и RPI експериментират с анализ на контурната стъпка. Су описа как работи тази технология. "Когато говорите сричка, когато произнасяте сричка, основният техник ще улови гласа и той генерира визуален контур за това как произнасяте тази сричка", каза Су. „Тогава той използва този визуален контур и сравнява този визуален контур с визуалния контур на естествения говорител.“

След това учениците могат да направят корекции в произношението си, за да достигнат правилния тон. Ще научат, че трябва да променят произношението на определени срички. Със знанията, които студентите получават, като научат мандарин в потапящата се клас, използвайки технологията на Уотсън, те ще имат повече увереност да разговарят в реалния живот, според Су.

„Цялата идея е да осигурим достатъчно културен контекст чрез нашата потапяща среда и AI технологии, за да дадем възможност на студентите да практикуват упражнения“, каза Су. "Така че те няма да имат страхове, като да говорят с хората в реалния живот."

Студент практикува Mandarin във виртуална среда на ресторант, използвайки технологията IBM Watson. (Изображение за кредит: IBM Research / RPI )

Мост между технологичната индустрия и Academia

IBM и RPI са в състояние да изградят мост между IBM изследователи и преподаватели, като IBM вгражда изследовател в университета, а именно Su. Междувременно, Джоу, професорът на класа в RPI, също предоставя обратна връзка на дизайнерите, потребителите и учителите как да подобрят потапящото преживяване в класната стая.

"Трябва да им дам незабавна обратна връзка за отстраняване на грешки или за подобряване на дизайна, така че да можем да предложим по-естествена класна стая на студентите", заяви Джоу. "Значи има много работа, но си заслужава."

Бъдещето на езиковото обучение

• Най-добрият софтуер за езиково обучение за 2019 г. Най-добрият софтуер за изучаване на език за 2019 г.
• IBM пуска претърсени инструменти на Watson AI в няколко индустрии IBM пуска търсените инструменти на Watson AI в няколко индустрии
• AI наистина ли говори нашия език? AI наистина ли говори нашия език?

Този тип потапяща среда е ценен поради способността да се осигури привидно реална среда, според Джоу. „Потапящата среда на AI може не само да подобри говоренето и слушането на учениците, но и прагматиката на използването на този език в реални ситуации“, заяви Джоу. "Ето защо AI е по-идеален за мен като инструктор, така че студентите да могат да придобият усет да използват езика в началото, дори и за начинаещи, без да пътуват до страната."

Мултимодални среди за обучение като тези, предлагани в RPI, ще разширят ролята на AI в класната стая. С опита, който AI предоставя чрез виртуалните агенти, студентите ще бъдат подготвени да се справят с различни сценарии в реалния свят с необходимите езикови умения.