«Мы работаем с огромным количеством параметров…»
Тимур: Психометрика — это только про измерение? Может ли психометрика вырабатывать рекомендации для дальнейшего обучения?
Дмитрий: В классической психометрике вероятность того, что студент правильно решит задание, есть функция двух параметров — уровня знаний студента и уровня сложности задания. Если уровень знаний студента выше уровня сложности задания, то он с большой вероятностью решит его правильно. Это самая простая модель. А теперь представим, что студент, не зная правильного ответа, сможет его угадать. Появляется еще один параметр — вероятность того, что студент может угадать правильный ответ. Для базового измерения хватит двух или трех параметров, но для понимания того, как учатся студенты, и последующей выработки рекомендаций требуется гораздо больше параметров.
Теперь обратимся к психометрике обучения: здесь мы работаем с огромным количеством параметров. Например, количество видеолекций, которые просмотрел студент, или его активность на учебном форуме, или даже его социально-демографические характеристики: пол возраст, цели, с которыми он начал проходить тот или иной онлайн-курс. Все это может объяснить, какой он даст ответ — верный или не верный. Но психометрика идет дальше: допустим, первый студент ошибся в одном месте, второй — в другом. Мы начинаем анализировать, как связаны эти ошибки. Если ошибки не связаны друг с другом, скорее всего, проблема в студентах. А если ошибки образуют систему, то проблема в преподавании: видимо, что-то было объяснено неправильно, если все студенты ошибаются в одном месте или на схожих вопросах. Тогда мы можем указать преподавателю на проблемный или сложный контент.
Тимур: А что насчет рекомендаций для самих студентов?
Дмитрий: Мы можем использовать подобные модели для навигации студента по курсу. Например, студент ошибся несколько раз, отвечая на вопросы на определенную тему. Система может подсказать ему необходимый контент для того, чтобы он восполнил пробел в знаниях. Все данные, которые собирает Центр психометрических исследований в онлайн-образовании НИУ ВШЭ, руководителем которого я являюсь, мы используем в двух направлениях. Во-первых, мы помогаем профессорам делать более качественный контент и найти проблемные места, которые без аналитики не очевидны. Во-вторых, мы помогаем студентам быть более эффективными в обучении: скажем, в те задания, с которыми у студента возникли трудности, мы встраиваем ссылки на соответствующий раздел контента.
«Я вернусь в Россию как носитель уникальных знаний…»
Тимур: С какими барьерами сталкивается развитие психометрики в России? Насколько мы отстаем от мировых практик?
Дмитрий: Флагманы психометрики в мире — это Нидерланды, Бельгия, Великобритания и США. В начале XX века психометрика развивалась и в России, пока в 1936 году не вышло Постановление о педологических извращениях в системе Наркомпросов. Педологией в России называли науку об измерениях в образовании: это такая «психометрика по-русски». Еще долго педология вместе с генетикой и кибернетикой были под запретом. Во многом поэтому российская психометрика до сих пор находится в «догоняющем» положении. Простой пример: первая магистерская программа по психометрике — я первый ее выпускник — появилась в 2010 году, в то время как на западе такие программы существуют давно. За рубежом существует даже докторантура — по вычислительной психометрике: свою диссертацию я пишу в Бельгии — в России такой возможности нет. Интересно, что каждая докторантура, где пишут диссертации будущие психометрики, имеет свой фокус. Например, в Великобритании занимаются моделированием психологических особенностей человека и много работают с данными из социальных сетей, а в бельгийской докторантуре, где я учусь, фокусом является именно образование.
Тимур: Заметны ли изменения в российской психометрике?
Дмитрий: Безусловно, заметны. Появились российские образовательные платформы, например, Национальная платформа открытого образования, «Образование на русском» Института Пушкина, Лекториум. Доступны глобальные платформы — Coursera и edX. Это дает возможность собирать огромное количество данных — возникает запрос на психометриков. Свою задачу я вижу так: в следующем году я защищу докторскую диссертацию — и вернусь в Россию как носитель уникальных знаний, которых не получить сегодня в России и которые я буду передавать молодым специалистам. Уже сейчас мы набираем стажеров в наш вышкинский центр.
Тимур: Может быть, у вас есть свой прогноз?
Дмитрий: Есть, он простой: ни одно изменение в обучении — тем более, в персонализированном обучении — невозможно без психометрических исследований. Сейчас специалистов-психометриков не хватает, а спрос на них будет только расти. Он будет удовлетворяться за счет приглашаемых зарубежных специалистов — и молодых российских. А если говорить про саму науку, модели будут усложняться: скажем, если раньше мы анализировали только правильный/неправильный ответ на задание, то теперь мы можем наблюдать, как студент коммуницирует с этим заданием, сколько ему потребовалось попыток для прохождения, реагировал ли он на подсказки платформы. То есть один параметр заменяется целым паттерном наблюдений, которые мы можем анализировать. А если растет сложность моделей, то растет и их точность и надежность.
«От ученого многое зависит…»
Тимур: На осенней конференции мы много говорили об искусственном интеллекте в обучении. Повлияет ли психометрика на развитие машинного обучения?
Дмитрий: Когда мы «учим» машину принимать какие-либо решения, мы используем ту или иную модель. Психометрические модели легко встраиваются в машинное обучение. Например, когда мы «учим» машину давать студенту релевантные вопросы и задания, мы загружаем в нее психометрическую модель, которая учитывает предыдущие ответы студента и поможет подобрать оптимальное задание в будущем. То есть прежде, чем машинное обучение становится возможным, машина «учится мыслить» на основе психометрических моделей.
Тимур: В таком случае, нужен ли для психометрических исследований человек? Или мы можем «научить» этому машину?
Дмитрий: Человек, конечно, нужен. Приведу простой пример. Когда мы прогнозируем ситуацию с пробками на дорогах, нам не важен механизм — нам важен точный прогноз: через час будет такой-то балл пробок. В обучении нам важно не только знать, что студент дал неверный ответ, но и понимать, почему он ошибся: нам нужно проанализировать механизм, определить связь между ошибками, узнать количество попыток, контролировать прогресс студентов. Для этого нужен специалист, который сможет проинтерпретировать результаты машинного анализа и принять определенное решение. То есть сложные объясняющие и прогнозирующие модели может построить только человек, но простой психометрический анализ — например, анализ сложности задания — можно полностью автоматизировать. Сейчас мы в Вышке в рамках программы «Современная цифровая образовательная среда» разрабатываем автоматизированный сервис психометрической аналитики: разработчики онлайн-курсов смогут выгрузить с платформы данные по своему курсу, импортировать их в наш сервис и получить выкладку по заданиям, по контенту, а также рекомендации по оптимизации курса. Но если мы говорим о развитии науки, без ученого здесь не обойтись: ученый придумывает новые параметры и связи между ними, строит гипотезы и предположения. От ученого многое зависит — и будет зависеть в ближайшем будущем.