Ученые СПбГУ создали методику для автоматического определения иронии в речи

Голосовые и аудиовизуальные помощники стали частью жизни современного человека, однако значительная часть речевых приемов, которые человек использует в повседневности, понятна только при разговоре между людьми. Например, ироничные высказывания напрямую зависят от ситуации и интонации, поэтому понятны, как правило, лишь интуитивно и не улавливаются искусственным интеллектом.

Результаты исследования опубликованы в материалах International Conference on Speech and Computer

При просмотре фильма или чтении книги можно по контексту понять, есть ли в словах персонажа ирония. Но в современных диалоговых системах контекст нередко отсутствует. Когда мы произносим иронично «Сейчас!» (или даже «Щас!»), «Конечно!» или «Ага!» в телефонном разговоре, ирония передается лишь за счет особого звукового оформления, интонации.

В отличие от обычного юмора и шутки, ирония — это не просто добавление шутливого оттенка значения, но возможность поставить под сомнение собственное высказывание или даже изменить его смысл на обратный. Если голосовой помощник не сумеет распознать такой тип иронии и воспримет ироничное «Конечно!» как согласие, коммуникация не состоится либо приведет к нежелательным последствиям.

Как отмечают лингвисты, ироничность в словах говорящего помогает распознавать и наличие видеоряда, поскольку в этом случае смысл может быть понят благодаря мимике и жестам. Ученые СПбГУ проанализировали фрагменты разговоров из российских фильмов и сериалов, так как в актерской речи эмоции выражаются наиболее ярко. Затем они записали речь 60 дикторов, носителей русского языка, в акустической кабине на кафедре фонетики и методики преподавания иностранных языков СПбГУ. Подобная подборка иронической речи в русском языке сделана впервые.

Ранее специалисты Санкт‑Петербургского университета с помощью цифровых алгоритмов создали музыкальный отрывок первого дня Великой Отечественной войны, основанный на материалах из дневников очевидцев.

Запись производилась одновременно на профессиональный микрофон и видеокамеру с высокой частотой кадров. Ученые проанализировали жесты и мимику говорящих, а также обработали звуковые сигналы с помощью специального программного обеспечения. Затем были проведены эксперименты на восприятие: в одном участники слушали короткий звуковой фрагмент и выбирали соответствующий ему отрывок текста с иронией или без иронии, в другом зрители выполняли ту же задачу, просматривая кадры без звука; в третьем сигнал предъявлялся полностью. Как рассказала доцент СПбГУ Ульяна Кочеткова (кафедра фонетики и методики преподавания иностранных языков), это позволило выделить ту интонацию и те жесты и мимику, в которых носители языка способны услышать и увидеть иронию, даже не зная контекста. После чего характеристики высказываний с иронией «пересадили» на высказывания без иронии (и наоборот) и также дали послушать носителям языка. Это помогло оценить роль каждой из характеристик в выражении иронического значения.

«Мы провели эксперименты на восприятие и проведение различных модификаций звукового сигнала для нахождения тех интонационных и жестовых (мимических) особенностей, которые приводят к оценке слушателями и зрителями высказывания как иронического без опоры на какой‑либо контекст», — рассказала Ульяна Кочеткова.

По ее словам, в иронических высказываниях важен контраст по сравнению с привычным «нейтральным» оформлением: меняется темп произнесения, его громкость, регистр, диапазон голоса. Характер этих изменений зависит и от типа предложения. Например, вопросы с иронией будут отличаться от восклицаний более заметным увеличением громкости и более заметным растягиванием слов и отдельных звуков.

В жестах и мимике иронию отличают не только конкретные движения, например определенные движения губ и бровей, но и то, как именно они сочетаются, а также их связь с аудиосигналом. В рамках проведенного фундаментального исследования ученые получили знания о том, какие характеристики человек использует для иронической окраски своей речи и по каким определяет ее в речи собеседника.

Работы по определению речевых оборотов, таких как ирония, с опорой на звучание и жестикуляцию позволяют усовершенствовать системы автоматического распознавания речи и аудиовизуального синтеза на основе искусственного интеллекта.

Санкт‑Петербургский государственный университет — первый университет России — был основан 28 января (8 февраля) 1724 года, когда Петр I издал указ об учреждении Университета и Российской академии наук. Сегодня СПбГУ — научный, образовательный и культурный центр мирового уровня. В 2024 году Санкт-Петербургский университет отметит свой 300‑летний юбилей.

План мероприятий в рамках празднования юбилея Университета был утвержден на заседании оргкомитета по празднованию 300‑летия СПбГУ, которое провел заместитель председателя Правительства РФ Дмитрий Чернышенко. Среди таких мероприятий — присвоение малой планете имени в  честь СПбГУ, выпуск банковских карт со  специальным дизайном, создание почтовых марок, посвященных истории первого университета России, брендирование  самолета авиакомпании «Россия» и многое другое.

По решению губернатора Санкт‑Петербурга Александра Беглова 2024 год в Северной столице объявлен годом Санкт-Петербургского университета. В день 300‑летия Университета на Ростральных колоннах будут зажжены факелы. Дворцовый мост украсят флаги Университета, а общественный транспорт — его символика, на новых туристических картах города появятся здания СПбГУ, вблизи них будут размещены тематические и исторические материалы. В мае 2024 года Университет примет участие в праздновании Дня города, а знаменитый праздник выпускников «Алые паруса» будет посвящен юбилеям СПбГУ и Российской академии наук. Также Университет запустил сайт, посвященный предстоящему празднику, с информацией о выдающихся универсантах, научных достижениях и подробностях подготовки к юбилею.