«За каждой оценкой в дипломе должны стоять реальные знания»: как работает прокторинг и зачем он нужен

СПбГУ предложил создать в России ассоциацию академической честности

О том, чем удобна система контроля за прозрачностью проведения экзамена и почему Университет начал ее использовать еще до начала пандемии, рассказал директор Центра развития электронных образовательных ресурсов СПбГУ Владимир Старостенко.

Владимир Андреевич, расскажите, пожалуйста, что такое прокторинг. Какие виды систем мониторинга сегодня существуют?

Проблема злоупотреблений во время экзаменов всегда стояла остро. Сколько бы веков они ни проводились, всегда находятся экзаменуемые, которые пытаются обойти систему. Например, участники экзаменационных испытаний на чиновничью должность в Древнем Китае писали сочинение в отдельной келье, куда ничего не разрешали брать с собой. Однако «умельцы» писали шпаргалки, например, на нательной рубахе или прямо на теле, поэтому существовали специальные сотрудники, которые следили за «чистотой» экзаменов.

Сам по себе термин «проктор» появился задолго до эры цифровизации. Так называли специальных сотрудников английских университетов, которые должны были отслеживать соблюдение дисциплины, причем не только на экзаменах. Прокторинг в нынешнем понимании — это процедура контроля за ходом аттестационного испытания, которое проводится в дистанционном режиме, при этом особая программа записывает весь процесс (аудиопоток, видео самого сдающего и все то, что происходит на рабочем столе).

Прокторинг может быть синхронным и асинхронным. В синхронном варианте за испытуемым в режиме реального времени наблюдает специально обученный проктор. Фактически это так же, как во время сдачи в аудитории, когда преподаватель или его ассистент отслеживают, чтобы экзаменуемые не пользовались вспомогательными средствами и не переговаривались друг с другом.

В асинхронном варианте экзамен проводится под контролем алгоритма искусственного интеллекта, а затем прокторы просматривают видеозаписи, чтобы оценить, насколько правомерны те замечания, которые сделала машина, и, возможно, найти какие-то новые нарушения.

Дело в том, что человек способен комплексно оценить действия испытуемого с учетом общего контекста. То есть если во время тестирования в комнату к испытуемому по незнанию заглянул кто-то из родственников, то искусственный интеллект примет это за нарушение, поскольку зафиксирует появление в кадре постороннего человека или услышит чей-то голос, но проктор-человек, оценив происходящее, не станет рассматривать случившееся как нарушение правил. Именно поэтому рассказы студентов о том, как им поставили отрицательный статус прокторинга из-за того, что в кадре мелькнул кот, не более чем «страшилки».

Существует еще вариант автоматического прокторинга, когда человек вовсе не перепроверяет машину, однако этот способ применяется крайне редко, поскольку даже самый совершенный ИИ пока может ошибаться. В Санкт-Петербургском университете к нему никогда не прибегали.

Насколько активно эта технология применяется в разных вузах России и зарубежных странах?

В период пандемии о прокторинге заговорили особенно широко, поскольку обучение пришлось перевести в дистанционный формат и количество подобных экзаменов резко выросло. Однако эта процедура была востребована всегда и активно применялась вузами с момента своего появления, так как проблема легитимности оценки в дистанционном обучении стоит очень остро. Противники онлайн-обучения очень часто пытаются привести аргумент «против»: непонятно, кто «нащелкал» за обучающегося ответы, в итоге грош цена полученной оценке. Прокторинг как раз и нацелен на то, чтобы однозначно понимать и иметь возможность подтвердить, что обучающийся сдавал тестирование сам и эта оценка подтверждает его знания по предмету.

Каков масштаб рынка компаний, предоставляющих услуги прокторинга в России и за рубежом? Чем они отличаются друг от друга? Какие из них становятся наиболее популярными?

В России самыми крупными организациями являются «Экзамус» и ProctorEdu, кроме того, у некоторых вузов есть свои наработки и локальные решения в плане прокторинга. Различия между системами кроются в деталях, но в целом они несущественны, поскольку принцип один — программа должна помочь идентифицировать личность сдающего, выявить нарушения в ходе экзамена и записать весь процесс от и до.

Среди зарубежных сервисов, предоставляющих услуги прокторинга, одним из самых популярных и распространенных является ProctorU, сотрудничающий с более чем 500 американскими вузами. Однако существует также множество других прокторинговых систем, которые используются при прохождении итоговых аттестаций на различных стадиях образовательного процесса. Сразу оговоримся, что между российскими и зарубежными системами разница все-таки есть. Большинство из них не приспособлено к внедрению в учебный процесс российских вузов, поскольку они не отвечают требованиям по локализации. Еще очень важно отметить, что по ФЗ-152 «О персональных данных» все собираемые персональные данные должны храниться на серверах, размещенных на территории РФ.

Сколько российских университетов внедрили у себя систему прокторинга? Какая часть от общего числа экзаменов на сегодняшний день проводится с ее помощью?

К сожалению, я не обладаю подобной статистикой, однако замечу, что все вузы, которые обучают студентов, скажем, на онлайн-курсах по сетевым договорам, используют систему прокторинга. Например, партнер Санкт-Петербургского университета «Экзамус» в период с февраля по июль 2021 года провел 289 тысяч тестирований для различных университетов России и ближнего зарубежья. Помимо СПбГУ к его услугам прибегали Высшая школа экономики, Южный федеральный университет, Казанский федеральный университет, Московский физико-технический институт, Национальный исследовательский технологический университет «МИСиС», Российская академия народного хозяйства и государственной службы при президенте РФ, Российский государственный педагогический университет имени А. И. Герцена, Санкт-Петербургский государственный университет промышленных технологий и дизайна. Также экзамены с его помощью организовывали Сургутский государственный университет, Томский государственный университет, Тюменский государственный университет, Уральский федеральный университет, Балтийский федеральный университет имени Иммануила Канта, Пермский государственный медицинский университет имени академика Е. А. Вагнера, Югорский государственный университет, Сахалинский государственный университет и многие другие региональные вузы.

Вот еще пример: во время локдауна СПбГУ открыл доступ ко всем своим онлайн-курсам на платформе «Открытое образование», и на них прошли обучение 13 тысяч студентов из 89 вузов. Конечно, разные университеты по-разному определяли для себя формат итоговой аттестации, и некоторые из них ввиду форс-мажорных обстоятельств могли просто засчитывать прохождение всех контрольных заданий, но если же вуз выбирал для себя перезачет онлайн-курса после предъявления сертификата о его освоении, то все эти студенты в обязательном порядке проходили итоговую аттестацию с прокторингом.

Различаются ли правила проведения прокторинга в зависимости от вуза и кто их устанавливает? Требуют ли они в таком случае унификации?

Если и различаются, то незначительно. Например, какой-то вуз может позволить испытуемым пользоваться какими-то вспомогательными материалами при сдаче определенного предмета, но это, скорее, исключение из правил, которое будет оговариваться отдельно. Если мы говорим об общих правилах прокторинга, то они будут одними и теми же. В итоге требования сводятся к тому, что человек должен пройти тестирование самостоятельно, не прибегая к помощи третьих лиц, не списывая, никуда не подглядывая, не открывая посторонние сайты и программы, не фиксируя экзаменационные вопросы, поскольку в противном случае они будут тут же скомпрометированы и потребуется немедленное обновление всей вопросной базы. Как мне кажется, строгая унификация здесь не требуется, речь может идти скорее о дополнительной международной стандартизации самого сервиса с тем, чтобы процедура стала еще более прозрачной для всех вовлеченных сторон.

В настоящий момент международных стандартов порядка проведения экзамена в дистанционном формате не существует, как и обязательных требований. Все сводится к цели, которой хотят достичь вузы во всем мире, — легитимизировать оценку знаний, укрепить доверие к онлайн-обучению и подтвердить «вес» собственного диплома.

Участники Всемирного союза массовых открытых онлайн-курсов обсудили перспективы развития и планы на будущее

Обсуждается ли тема прокторинга во Всемирном союзе массовых открытых онлайн-курсов МООК, в который входит СПбГУ? Были ли приняты какие-либо решения для усовершенствования системы контроля за экзаменационным процессом?

Да, на недавнем заседании правления Всемирного союза МООК, которое состоялось 2 декабря, как раз была поднята тема прокторинга. Конкретных решений пока не было, но в рамках действующих инициатив планируется провести обсуждение опыта вузов и организаций — учредителей союза, а также сложившихся практик при проведении мониторинга прохождения обучающимися контрольных испытаний, в том числе и в рамках обучения с использованием онлайн-курсов, в целях международной стандартизации данного сервиса.

Столкнувшись с необходимостью проведения экзаменов в онлайн-формате и вместе с тем с организацией дистанционного контроля, образовательные организации обсуждали как преимущества, так и недостатки системы прокторинга. Что побудило Университет к ее внедрению и какие аргументы убедили в ее необходимости, учитывая, что СПбГУ пришел к этому решению еще в докоронавирусную эпоху?

Давайте начнем издалека. Чего вуз хотел добиться, вводя обучение в онлайн-формате, которое, как вы верно заметили, СПбГУ внедрил еще до пандемии? На самом деле одного — чтобы студентам было удобнее. Не нужно ехать ранним субботним утром под снегопадом на потоковую лекцию, а можно самому организовать свое время и учиться в удобном для себя режиме. Как и все новое, эта инициатива была изначально воспринята в штыки, и студентам потребовалось какое-то время, чтобы ее «переварить» и оценить по достоинству. Изначально итоговые тестирования проводились в аудиториях без прокторинга, но это требовало участия большого количества сотрудников Университета и опять-таки необходимости куда-то ехать в строго назначенное время, причем иногда в совершенно непривычный учебный корпус.

Если мы опустим проблему безопасности во время пандемии, то Университет, вводя систему прокторинга, исходил, во-первых, из удобства. Студенту намного комфортнее сдать экзамен дома, самому выбрав подходящее время, причем в весьма широком интервале. Более того, если все-таки не забывать о нынешних реалиях, то это куда безопаснее для здоровья, да и многие студенты в принципе не имеют возможности присутствовать на испытании очно, находясь, например, на карантине или не сумев приехать из-за закрытых границ.

Во-вторых, Университет очень трепетно относится к объективности результатов обучения. Диплом СПбГУ — это знак качества, именно поэтому работодатели часто в требованиях к кандидату оговаривают специальные условия для выпускников Университета. За каждой оценкой в дипломе должны стоять реальные знания. Если мы отмотаем время назад в «доцифровые времена», то родители многих нынешних студентов могут вспомнить случаи, когда оценку можно было, как выразилась одна моя коллега, просто «наныть». Преподаватели — живые люди, которых можно правдами и неправдами разжалобить, уговорить и так далее. В этом плане «бездушная машина» намного более объективна, поскольку искусственный интеллект просто констатирует факт. Но от полной «машинности» проверки удается уйти, привлекая специалистов-прокторов. Отмечу, что прокторы «Экзамуса» проходят специальную подготовку, в том числе тренинги у ведущих экспертов из США. Процессы проверки, используемые «Экзамусом», признаются во всем мире. Компания имеет опыт работы с более чем 180 заказчиками, в том числе в США и Европе, где требования к качеству прокторинга безусловно высокие и лучшие практики вырабатывались на протяжении более 20 лет. Вот множество «за», которые легли на чашу весов при принятии решения.

О каких результатах можно сказать по итогам опыта применения этой технологии за прошедшие годы?

Если мы говорим об опыте СПбГУ, то количество тестирований постоянно растет. Приведу статистику: в 2019/20 учебном году было проведено более 10,5 тысячи итоговых тестирований по онлайн-курсам, а в 2020/21 — более 34,5 тысячи, что почти в три раза больше по сравнению с прошлым годом. На 2021/22 учебный год уже запланировано около 40 тысяч итоговых тестирований по онлайн-курсам, и это количество увеличится в весеннем семестре.

Несмотря на то, что обучающиеся пугают друг друга прокторингом, в масштабах всего Университета ничего страшного не происходит. Из почти 11 тысяч обучающихся, которые в прошлую сессию прошли зачет по дисциплине в формате онлайн-курса, менее 3 % студентов дошли до третьей пересдачи, причем в некоторых случаях в неудовлетворительных оценках виноват был не прокторинг, а недобор баллов. Тех же, кому был поставлен «незачет» по результатам испытания с использованием прокторинга в последнюю сессию, — всего 14 человек.

Если студент не сдал экзамен с применением прокторинга, то в чем обычно заключается причина? Можем ли мы, говоря о процедуре его проведения, считать, что универсанты, отвечающие на вопросы и в аудитории, и дома, находятся в равных условиях?

Иногда возникают проблемы чисто технического характера, такие случаи мы сейчас не будем обсуждать: например, компьютер не проходит проверку, интернет работает недостаточно быстро, во время экзамена произошел разрыв соединения. В таких случаях необходимо сразу обращаться в службу технической поддержки.

Зачастую студенту не удается сдать экзамен с применением прокторинга не из-за того, что он не прошел прокторинг, а из-за того, что не подготовился должным образом, а заодно и нарушил правила (то есть ему был выставлен отрицательный статус прокторинга). Впрочем, даже в случае положительного статуса этот обучающийся получил бы оценку «незачет» из-за недобора баллов.

Если же человек набрал нужное количество баллов, но получил отрицательный статус прокторинга, то здесь действительно имело место нарушение правил, чаще всего речь идет об использовании вспомогательных материалов и технических средств. Конечно, на себе уже никто шпаргалки, как в Древнем Китае, не пишет, но зато телефон — верный помощник многих двоечников.

Как Университет взаимодействует со студентами по вопросам сбора информации о прокторинге? Планируете ли вы поделиться накопленным опытом на международных площадках, где представлен СПбГУ, и поднять вопрос унификации правил в профессиональном сообществе?

Университет всегда ратует за открытость, поэтому студенты могут подавать свои вопросы и жалобы в Виртуальную приемную СПбГУ. Кроме того, помощь обучающимся буквально в режиме 24/7 оказывает служба технической поддержки support.online@spbu.ru, и ее работники помогают разрешить многие технические сложности в режиме реального времени.

Разумеется, мы собираем статистику по итогам сессии и работаем в плотной связке с коллегами из «Экзамуса», которые тоже постоянно совершенствуют свой сервис. Как я уже упоминал выше, в рамках деятельности Всемирного союза МООК в ближайшее время будет инициирован обмен опытом между участниками союза. Кроме того, проблема обсуждается и в профессиональном сообществе — например, на собраниях правления национальной платформы «Открытое образование».

Сможет ли, на ваш взгляд, система прокторинга когда-нибудь навсегда заменить экзаменаторов и формат проведения экзаменов в аудитории?

Если мы говорим о ближайшей перспективе, то нет, потому что в некоторых случаях все-таки нужен непосредственный контакт с преподавателем, например при сдаче устного аспекта иностранного языка. Однако технологии не стоят на месте, и то, что казалось сказкой каких-то двадцать лет назад, сейчас становится былью. Могу сказать одно — хотелось бы верить, что в один прекрасный день мы победим пандемию и все вернется на круги своя. Потребность в прокторинге неизбежно снизится, но спрос на качественное онлайн-обучение сохранится, а значит, сервисы будут развиваться, ну а дальше — увидим!