Ученые СПбГУ научили нейросеть распознавать усталость у пользователя компьютера
Научная группа, в которую вошли ученые Санкт‑Петербургского университета, Санкт‑Петербургского Федерального исследовательского центра РАН (СПб ФИЦ РАН) и других организаций, создала базу данных, включающую стратегии глазных движений операторов в различных состояниях (утомлен/бодр), осуществляющих мониторинг объектов на экране персонального компьютера. На основе собранных данных в дальнейшем планируется обучать нейросетевые модели, которые лягут в основу высокоточных систем отслеживания функционального состояния (утомлен/бодр) для обеспечения безопасности на дорогах и промышленных объектах.
Сегодня большое количество объектов транспортной, промышленной и оборонной инфраструктуры контролируются и функционируют при помощи операторов, водителей или единых информационных центров с целой командой специалистов. От психофизиологического состояния сотрудников этой сферы часто зависит способность обеспечить безопасность этих объектов. К областям применения такой системы можно отнести: автомобильные парки, пилотов самолетов, диспетчеров в авиации, диспетчеров промышленных установок и т. п.
Результаты исследования опубликованы в научном журнале Sensors.
Ученые совместили регистрацию комплекса поведенческих и нейрофизиологических показателей.
«Комплексный подход обеспечивает более полную картину и более объективную оценку функционального состояния в отличие от подходов с регистрацией в отдельности тех или иных показателей, отражающих состояние утомления. Так, довольно распространенный метод кардиоинтервалометрии, основанный на регистрации показателей сердечного ритма, используемый для регистрации утомления, сам по себе является достаточно противоречивым в плане точности оценки состояния. Мы использовали уникальный подход, основанный на сопоставлении показателей характера движений глаз, отражающих динамику взаимодействия нейронных сетей статического и динамического зрения, с психофизиологическими показателями функционального состояния и психологическими тестами», — прокомментировала один из методологов проекта, профессор Института когнитивных исследований СПбГУ Ирина Шошина. Ученые планируют использовать базу данных для обучения нейросети, которая с высокой точностью сможет обнаруживать утомление оператора по стратегиям его глазных движений. Этот подход позволит обеспечить дистанционную оценку степени выраженности утомления, как отметила Ирина Шошина. Подготовленная база данных находится в свободном доступе для всех разработчиков программного обеспечения, и с ее помощью можно испытывать свои продукты.
Мы разработали комплексную базу данных, пригодную для обучения нейронных сетей, классифицирующих состояние человека: утомлен/бодр. Собранная база данных обладает уникальным набором различных размеченных показателей, с помощью которых возможно с высокой точностью обучать нейросети распознавать состояние утомления человека.
Руководитель проекта, старший научный сотрудник лаборатории интегрированных систем автоматизации СПб ФИЦ РАН Алексей Кашевник
Сбор информации о показателях оператора, отражающих функциональное состояние, выполнялся у испытуемых при помощи нескольких датчиков: видеокамеры, окулографа, пульсометра, электроэнцефалографа. Кроме того, в рамках эксперимента операторы выполняли тесты по оценке качества своего сна, утомления, сложной зрительно‑моторной реакции и др.
Измерения проводили утром, днем и вечером в течение рабочего дня испытуемых, процесс фиксировали на видеокамеру. Исследование длилось восемь дней, в нем приняли участие 10 человек, которые занимались различными видами деятельности: пассивным (чтение) и активным (игра в тетрис).
Санкт‑Петербургский государственный университет — первый университет России был основан 28 января (8 февраля) 1724 года, когда Петр I издал указ об учреждении Университета и Российской академии наук. Сегодня СПбГУ — научный, образовательный и культурный центр мирового уровня. В 2024 году Санкт‑Петербургский университет отметит свой 300‑летний юбилей.
План мероприятий в рамках празднования юбилея Университета был утвержден на заседании оргкомитета по празднованию 300‑летия СПбГУ, который провел заместитель председателя Правительства РФ Дмитрий Чернышенко. Среди таких мероприятий — присвоение малой планете имени в честь СПбГУ, выпуск банковских карт со специальным дизайном, создание почтовых марок, посвященных истории первого университета России, брендирование самолета авиакомпании «Россия» и многое другое. Кроме того, Университет запустил сайт, посвященный предстоящему празднику, с информацией о выдающихся универсантах, научных достижениях и подробностях подготовки к юбилею.
Проект поддержан грантом Фонда содействия развитию малых форм предприятий в научно‑технической сфере (Фонда содействия инновациям). В научную группу вошли ученые из СПб ФИЦ РАН, СПбГУ, НГУ, РУДН, ФИЦ ИУ РАН, а также НИУ ВШЭ.