Научный редактор Инна Антипкина

Все права защищены. Никакая часть данной книги не может быть воспроизведена в какой бы то ни было форме без письменного разрешения владельцев авторских прав.

© Оформление. ООО «МИФ», 2025

Современные технологии искусственного интеллекта прокладывают путь к будущему образования, где обучение становится по-настоящему доступным и персонализированным. Однако в центре всех изменений всегда остается человек – ученик и учитель, студент и преподаватель.

Психометрика, наука о педагогических и психологических измерениях, становится той линзой, которая помогает взглянуть на данные глубже, превращая обезличенные логи в отражение реальных историй, целей и усилий. За каждым байтом данных скрывается человек. Психометрика позволяет понять, как люди учатся: какие стратегии они выбирают, как преодолевают трудности, что их вдохновляет и мотивирует.

Например, в Практикуме мы применяем психометрические подходы для анализа поведенческих паттернов, разработки адаптивных методов обучения и поддержки студентов на их образовательном пути. Это не просто оцифровка процессов, это способность увидеть, понять и поддержать каждого студента, помогая ему создать свою уникальную историю успеха. Технологии усиливают, а не заменяют человеческую эмпатию и взаимодействие.

Образованию будущего нужна среда, где технологии становятся инструментами поддержки человеческих усилий. Пространство, где преподаватели вдохновляют на развитие, а студенты становятся активными творцами своего пути. В этом контексте психометрика – это не просто наука, а гуманистический инструмент, превращающий данные в ресурс для раскрытия человеческих возможностей и создания осмысленного обучения.

Если вы когда-либо слушали выступление Димы Аббакумова, то знаете, как понятно и весело он умеет подать любую тему. Если же вы с Димой не встречались, то по тексту этой книги поймете, что автор поставил себе задачу – описать базу психометрической аналитики наиболее простым и прикладным образом; и автор задачу выполнил.

Приведу только одну деталь: в первом варианте рукописи Дима снабдил все представленные метрики математическими формулами, заботливо их аннотировал, описал все буковки-индексы простым и понятным языком. А потом одним махом все формулы в тексте снес. Я сначала удивилась такому решению, а потом восхитилась смелости: и правильно, в мире столько продактов и методистов с математической тревожностью – зачем их пугать. А тем, кому от формул не страшно, все станет ясно из приведенного кода.

Скорее всего, после прочтения книги у вас появится вопрос: «Все же так просто! Наверное, психометрическую аналитику (не путайте ее с учебной аналитикой) применяют во всем EdTech, во всех онлайн-курсах?» Но нужно знать условия работы бизнеса, чтобы понять: нет, не просто, далеко не во всех. Психометрика – все еще экзотическая наука в России. Цифровые образовательные продукты создаются быстро («раз, два – в продакшен»). То, что разношерстные команды Яндекс Практикума – продакты, методисты, разработчики – заговорили на общем языке психометрической аналитики, кажется мне волшебством. А чтобы придумать подходящие формату продукта метрики (а ключевые метрики в этой книге – посильность, супербалл, дельта – далеко не общепринятые, Дима их сам придумал, проверил их полезность, связал с бизнесовыми метриками), нужны креативность, смелость и приверженность доказательному подходу. Не просто ввести метрику в систему, а доказать, что она полезна для студентов, для продукта, для развития бизнеса. Не обманывайтесь кажущейся простотой текста.

Как научный редактор я докапывалась до каждой главы, требуя обоснований, но как первый читатель хотела больше практической информации. Поэтому иногда подавала автору противоречивые сигналы. Например, просила: «Дима, приведи, пожалуйста, референсные значения для этой метрики – пусть из твоей практики, но чтобы у читателя был ориентир. Но только уточни там, что это не бронзой на граните высечено, пусть понимают, что в их продукте оптимальные значения метрики могут быть не такими, как в твоей практике». И Дима очень честно все описывал и предупреждал. Я слегка в шоке, что Яндекс Практикум так открыто делится полезностями. Но кто мы такие, чтобы не поддержать принципы открытой науки?;)

Психометрика – чудесная наука, она за справедливость и пользу оценивания. В ней много спорного и трудного, но с этой книгой ваши первые шаги в психометрической аналитике для EdTech точно будут уверенными.

Последние пять лет мы наблюдаем динамичный рост EdTech. В широком смысле EdTech – это область, связанная с применением технологий для улучшения образования в целом, к которой относятся:

• онлайн-курсы;

• мобильные приложения;

• тренажеры и симуляторы;

• системы управления обучением и электронные журналы;

• программы управления контентом;

• инструменты виртуальной и дополненной реальности;

• технологии персонализированного обучения и многое другое.

Однако чаще (в более привычном нам смысле) аббревиатура EdTech ассоциируется со сферами бизнеса, в которых студенты заходят на веб-сайт или в мобильное приложение и получают там новые знания. Этот бизнес может быть большим и малым. Примерами большого бизнеса являются Яндекс Практикум, DataCamp, Duolingo и многие другие компании в России[1] и за рубежом[2]. К малым можно смело отнести индивидуальных онлайн-преподавателей и небольшие онлайн-школы, применяющие образовательные технологии в своей практике. На такие малые и большие сферы применения EdTech я ориентируюсь в этой книге. Кроме того, рассчитываю, что и более широкому кругу читателей из сфер образования и обучения эта книга окажется полезной.

В EdTech любят метрики и используют их на самых разных уровнях управления бизнесом. Например, метрика рентабельности ROI (Return on Investment) помогает понять, окупились ли расходы на создание, рекламу и проведение курса, а метрика ROMI (Return on Marketing Investment) показывает, насколько хорошо работают используемые маркетингом инструменты для привлечения студентов на курс. Метрика количества уникальных пользователей представляет текущий объем аудитории курса и позволяет отследить динамику этой аудитории во времени, а LTV (Lifetime Value) – сколько прибыли приносит отдельный студент за все время взаимодействия с EdTech-провайдером.

Существуют метрики удовлетворенности и лояльности студентов. Например, CSI (Customer Satisfaction Index) говорит о том, доволен ли студент обучением в целом или его отдельными аспектами, NPS (Net Promoter Score) – готов ли студент рекомендовать конкретный курс своим знакомым и друзьям, a метрика реферальности – сколько новых студентов приходят благодаря рекомендации обучающихся в данное время студентов.

Для оценки качества обучения обычно используют метрики COR (Completion Rate), или «доходимость», которая показывает долю студентов, успешно завершивших обучение, и Transformation (или Success) Rate, которая отражает степень уверенности студента в том, что цели его обучения достигнуты. Наконец, как и любому бизнесу, EdTech важно изучать долю и причины возвратов, для чего используется соответствующая метрика. Приведенный список, безусловно, неполный, но он отлично иллюстрирует, как важны метрики и работа с ними для современного образовательного бизнеса.

Главная ценность упомянутых метрик заключается в том, что они делают бизнес видимым и, следовательно, управляемым. Однако парадокс заключается в том, что в них отлично выражена бизнес-составляющая, но практически отсутствует составляющая образовательная. Другими словами, показывают ли нам указанные метрики, работает или нет учебный контент и насколько хорошо он это делает; осваивают ли студенты желаемое и насколько уверенными они могут быть в этом; оптимальны ли формат обучения и учебная нагрузка и, собственно, происходит ли обучение в самом деле? Едва ли. Разве что косвенно. Получается, собственно обучение – то, на основе чего строится EdTech-бизнес, – остается скрытым, а значит, неуправляемым.

При этом наука, которая уже полтора века измеряет обучение и помогает настраивать его на студентов, есть. Она называется психометрика и дает прямые ответы на вопросы о студентах, контенте и их взаимодействии. Подтверждения этому мы с вами найдем на страницах этой книги, а пока поверьте мне на слово. Но, собственно, почему вы должны мне поверить?

Самое время представиться. Меня зовут Дмитрий Аббакумов. Двадцать лет назад я «завалил» промежуточные тесты на первом курсе университета. К счастью, они были экспериментальными, и нас, заваливших, тогда не отчислили. Однако после этого провала я решил разобраться в том, как работают инструменты измерения и оценки знаний, почему они бывают хорошими и плохими (как было в случае с моим университетским опытом) и чем хорошие отличаются от плохих. Так я познакомился с наукой психометрикой: сначала прошел обучение в лаборатории «Гуманитарные технологии» при МГУ им. М. В. Ломоносова, затем учился на первом потоке студентов единственной в России магистерской программы по психометрике «Измерения в психологии и образовании»[3] в НИУ «Высшая школа экономики», а впоследствии получил докторскую степень по психометрике в одном из сильнейших университетов мира – KU Leuven, Бельгия. Вот куда завел меня тот заваленный в университете тест. После защиты диссертации я вернулся в Россию, и здесь один из основателей Практикума, Михаил Янович, пригласил меня присоединиться к команде. В Практикуме я сфокусировался на измерении и исследовании того, как учатся наши студенты, как работают тренажеры и микротеория и как через улучшение учебного опыта повышать шансы студентов на успех и наращивать результаты образовательного бизнеса. В течение трех лет моей работы в российском Практикуме и его международном подразделении, впоследствии ставшем самостоятельным бизнесом под названием TripleTen, психометрика стала ядерной технологической компетенцией и одним из ключевых элементов успеха этого бизнеса. В это время я выступал с открытыми лекциями и преподавал на программах School of Education – без преувеличения, кузницы кадров российского EdTech. Мне искренне хотелось (и хочется сейчас) сделать так, чтобы психометрика помогла большему количеству образовательных проектов. Так в конце 2023 года появилась идея написать книгу о психометрике в EdTech.

В этой книге вы узнаете, что такое психометрика как наука и как приложить ее к EdTech-бизнесу; как правильно логировать данные, рассчитывать характеристики контента и студентов и другие важные (психо)метрики; как применять их для улучшения учебного опыта и результатов студентов и какой вклад работа с этими метриками вносит в образовательный бизнес. Книга неслучайно называется «Первые шаги»: она не только рассказывает о психометрическом подходе, но и содержит сниппеты вычислительного кода и практические упражнения с ключами, с помощью которых мы вместе сделаем эти первые шаги. А чтобы шагать было не страшно, а приятно, вы не встретите сложных формул. Я подробно объясняю вычисления в тексте, а затем дополняю пояснениями команды в сниппетах вычислительного кода. Кроме того, здесь много иллюстраций. Верю, что вам это понравится.

Однажды после одного из моих открытых воркшопов в School of Education участница Мария Коробова, которая преподает математику на российской платформе Stepik, поделилась со мной отзывом: «Я в восхищении от технологии и особенно от того, что она применима у меня на маленьком курсе. Спасибо вам огромное, что это придумали и что делитесь!» (Кстати, с метрикой «посильность», о которой говорит Мария, вы познакомитесь в одной из глав книги.) Она рассказала, что регулярно подсчитывает (психо)метрики для своего курса, вносит в него изменения и видит положительные результаты. Я вдохновляюсь такими отзывами и той пользой, которую психометрика приносит малым и большим EdTech, и надеюсь, что вы вдохновитесь вместе со мной и эта книга поможет вам максимизировать ценность ваших образовательных продуктов.

У книги есть соавторы: одна из глав написана совместно с Марией Ковалёвой и Николаем Кутковым, руководителем и исследователем лаборатории образовательных технологий Практикума, которая изучает образовательные технологии и оценивает их влияние на учебные результаты студентов Практикума. Сейчас, например, лаборатория исследует, как инструменты на основе YandexGPT помогают студентам лучше учиться.

Эта книга была бы невозможной без моего друга и научного редактора Инны Антипкиной. Инна – опытный психометрик, кандидат наук об образовании, активно преподает, разрабатывает инструменты оценивания и занимается исследованиями в Институте образования Высшей школы экономики.

Похоже, мы плавно перешли к благодарностям. Помимо горячей благодарности моим соавторам и редактору, хочу выразить особую признательность моей «литературной крестной» Анастасии Чуковской, которая заинтересовалась идеей книги, стала менеджером этого проекта, помогла довести начатое до результата и способствовала моему книжному дебюту. В лице Анастасии я благодарю всех участников этого сложного производственного процесса – подготовки книги – со стороны Яндекса.

Отдельно хочу поблагодарить арт-директора Валентину Смирнову и иллюстратора Олесю Ткач.

Я благодарю издательство МИФ и его сотрудников, работавших над книгой, за профессионализм и внимание к деталям, и лично ответственного редактора Анну Таривердиеву за теплую атмосферу партнерства.

Поскольку материал для книги не появился бы, если бы я не попал в Практикум (а затем в TripleTen), хочу поблагодарить всех коллег, кто поверил в силу моей любимой науки и помогал извлекать из психометрики пользу для наших студентов и EdTech-бизнеса: Михаила Яновича, Елену Швец, Виктора Ламбурта, Марка Сысоева, Анастасию Богапову, Марию Меркулову, Ингвара Сильницкого, Сергея Парфёнова, Льва Якимова, Мадина Тлишева и других.

Отдельную благодарность хочу выразить первым читателям и рецензентам книги: Оксане Власовой, Сергею Жданову, Дарье Кравченко, Веронике Кышовой и Асе Фурсовой – за ценные советы, уточненные формулировки и теплые слова поддержки.

Наконец, хочу сказать спасибо моему верному компаньону – мини-бультерьеру Финику.

31 июля 2024 года

Удобно, когда работаешь с чем-то осязаемым. Всегда можно оценить результаты своей работы: взвесить урожай яблок, подсчитать количество перевезенных пассажиров или позиций в товарном чеке. Сравнивая полученные значения, можно оценить, в каком году урожай был выше, в какое время суток люди чаще пользуются такси и какие товарные позиции лучше всего продаются, а на основании этих сравнений принимать взвешенные решения: выбрать более эффективное удобрение, спрогнозировать необходимое количество такси на линии, чтобы удовлетворить спрос и не спровоцировать простой, заранее в нужном количестве заказать хорошо продающийся товар.

Образованию в этом смысле повезло меньше: его основной продукт скрыт от непосредственного наблюдения. Невозможно, посмотрев на двух студентов, сказать, кто из них лучше знает предмет. Нет инструментов, которые, подобно весам или рулетке, покажут, каков запас знаний у человека. И даже если поместить его в дорогостоящий современный сканер, мы не узнаем, сколько информации в его голове.

Ученые и практики издавна предпринимают попытки измерить невидимое. В литературе можно проследить, что еще за 500 лет до нашей эры Конфуций (551–479 гг. до н. э.) делал первые «педагогические измерения»: наблюдал за учениками, их активностью и мотивацией – и сопоставлял полученные данные с их результатами. Вот, например: «Того, кто не стремится к достижению знания, не следует направлять на правильный путь. Тому, кто не испытывает трудностей в выражении своих мыслей, не следует помогать. Того, кто не в состоянии по одному углу предмета составить представление об остальных трех, не следует учить»[4]. Однако системно такими измерениями стали заниматься только во второй половине XIX века. А значит, именно в это время появились первые исследования и публикации о том, как измерять скрытые от непосредственного наблюдения педагогические и психологические характеристики так же легко и точно, как и физические величины (массу, длину, время).

В этом движении можно выделить два основных направления. Первое – это собственно измерение физических (наблюдаемых) величин учебного процесса. В лаборатории Вильгельма Вундта (1832–1920) в Лейпциге для измерений использовались самые различные инструменты – от простого таймера до тахистоскопа, суперсовременного в то время аппарата, позволявшего проецировать изображение в течение определенного времени, чтобы замерить, например, скорость распознавания этого изображения. На фотографии 1892 года Гуго Мюнстерберг (1863–1916), ученик Вундта, проводит исследование – выясняет, сколько времени студенты Гарвардского университета тратят на выполнение учебных заданий (рис. 1).

^{Рис. 1. Лабораторное измерение скорости решения заданий студентами[5]}

Второе направление – представление ненаблюдаемого результата учебного процесса в качестве физической величины. Первым ученым, о ком важно упомянуть в этом отношении, является Фрэнсис Эджуорт (1845–1926). Его работа «Статистика экзаменов»[6] (1888) – это, пожалуй, первая попытка выразить «знания» через физическую величину. Он пишет, что если несколько экспертов оценивают работу студента, то среднее значение оценок, выставленных за эту работу, можно считать истинным уровнем знаний этого студента. И добавляет, что отклонения оценок отдельных экспертов от полученного среднего можно считать ошибкой измерения. Так, среднее и ошибка – ключевые характеристики при измерениях физических величин (например, массы или длины) – впервые были приложены к ненаблюдаемой характеристике (знаниям). Можно сказать, эта работа дала старт первой метрике ненаблюдаемого.

Скоро приходит понимание, что использовать труд нескольких экспертов для оценки одного студента – ресурсоемкое мероприятие (особенно если требуется оценить несколько студентов). Так возникает идея, вместо того чтобы несколько экспертов оценивали одну работу, дать одному студенту несколько заданий, а затем подсчитать по полученным результатам те же показатели – среднее и ошибку. В итоге появляются первые тесты как наборы заданий одного содержания, которые активно использует в своей исследовательской работе другой ученик Вундта – американский психолог Джеймс Маккин Кеттелл (1860–1944).

На рубеже XIX–XX веков происходит интеграция первого и второго направлений: одновременно исследуются физические величины учебного процесса и измеряются ненаблюдаемые результаты. Российский профессор Александр Нечаев (1870–1948) изучает оптимальную продолжительность учебного времени, сопоставляя результаты обучения и длительность урока. Однако еще более важным является то, что Нечаев предпринимает первые попытки обобщить несколько мер ненаблюдаемого с помощью одного числа. Так, он вычисляет среднее значение между памятью учащихся на предметы, числа, звуки и слова, вводя условную общую характеристику памяти, а затем исследует (визуально, см. рис. 2), как отдельные виды памяти связаны между собой и какой вклад вносят в общую память.

^{Рис. 2. Ранние исследования памяти[7]}

Британский ученый Чарльз Спирмен (1853–1945), анализируя, как студенты выполняют различные задания и тесты, обнаруживает, что результаты часто оказываются похожими: например, сильный студент хорошо справляется и с первым, и со вторым, и с третьим заданиями, тогда как слабый и в первом, и во втором, и в третьем случаях получает невысокий результат. Описывая свои наблюдения математическим языком, Спирмен выводит коэффициент корреляции (меру взаимосвязи между величинами), а затем понятие общего фактора – ненаблюдаемой величины, определяющей результаты и в первом, и во втором, и в третьем заданиях.

Работу Спирмена продолжает американский ученый Луис Тёрстоун (1887–1955), который продемонстрировал, что результаты выполнения очень большого количества самых разных по содержанию учебных заданий можно объяснить всего несколькими переменными. Например, если учащийся хорошо перемножает, складывает, делит и справляется со многими другими вычислительными операциями, это объясняется тем, что хорошо развитое умение считать является у него общей характеристикой, определяющей все успехи в вычислениях. Тёрстоун вводит обобщающие переменные: понимание речи, беглость речи, умение считать, пространственная визуализация, ассоциативная память, скорость восприятия и логические рассуждения – и называет их основными способностями человека. Важно отметить, что в ходе этих исследований Тёрстоун разработал новый статистический инструмент – факторный анализ, который по праву считается первым кирпичиком науки о данных (Data Science).

Общим в исследованиях Кеттелла, Нечаева, Спирмена, Тёрстоуна было то, что они преследовали цель с помощью одного числа обобщить большое количество отдельных учебных результатов. Это общее число можно назвать мерой, или метрикой, например, памяти, знаний или способностей. Память, знания или способности по своей сути являются ненаблюдаемыми (неосязаемыми) характеристиками. Чтобы измерить характеристики, нужно обеспечить им возможность как-то проявиться. Именно для этого Нечаев давал учащимся слова и через какое-то время просил их воспроизвести. Воспроизведение слов (в исследованиях Тёрстоуна – решение вычислительных задач) уже можно было пронаблюдать и подсчитать (например, 7 из 10 слов были воспроизведены правильно). Далее, чтобы на основании этих наблюдений создать общую метрику, следовало воспользоваться статистическим решением. Оно может быть простым, как у Нечаева (среднее по этим наблюдениям для каждого студента), или более сложным, как у Спирмена и Тёрстоуна (факторный анализ). В результате получаем число для каждого студента, характеризующее его невидимую характеристику.

Это и есть главный принцип психометрики как науки об измерениях невидимого: чтобы измерить невидимое, нужно дать ему проявиться через наблюдаемое поведение, а затем воспользоваться специальной статистической формулой для обработки результатов этих наблюдений и вычисления соответствующей метрики.

Слово «психометрика» упоминается уже со второй половины XIX века: Фрэнсис Гальтон (1822–1911) определял ее как «искусство присвоения чисел операциям разума» (1879), а диссертация Кеттелла, которую он защитил в 1886 году под руководством Вундта в Лейпциге, называлась «Психометрические исследования» (нем. Psychometrische Untersuchungen). Однако закрепление психометрики в качестве самостоятельного научного направления произошло значительно позднее, в 1935 году, когда Тёрстоун с коллегами основали международное Психометрическое общество и состоялась первая встреча этого общества, которые проходят ежегодно по настоящее время. С того момента (и публикации в самом влиятельном научном журнале мира Science, см. рис. 3) педагогика и психология были признаны как количественные рациональные науки – такие же, как естественные.

^{Рис. 3. Психология заявляет о себе как о количественной науке[8]}

Психометрика зародилась на Западе, но и в России это направление также развивалось интенсивно, а исследования находились на переднем крае науки, о чем свидетельствует, в частности, то, что инструменты, изобретенные Нечаевым для изучения памяти, неоднократно получали премии на зарубежных психологических выставках, а его книги (например, «Современная экспериментальная психология в ее отношении к вопросам школьного обучения», 1901) нашли себе место в научных библиотеках Гарвардского и других ведущих западных университетов (см. рис. 4). Однако прискорбный исторический факт заключается в том, что в 1935 году, когда в США было создано международное Психометрическое общество, в России профессор Нечаев был репрессирован и сослан в Семипалатинск (Казахстан). А годом позднее, в 1936-м, педагогические измерения в России объявили не просто лженаукой, а извращением, и они были запрещены по всей стране. В науке об измерениях невидимого в России начался «ледниковый период», который продлился вплоть до начала XXI века. Хотя отдельные работы в области измерений все же велись, сфокусированы они были преимущественно на психологической диагностике, а не на педагогике; статистические же методы психометрики не разрабатывались вовсе.

^{Рис. 4. Штамп библиотеки Гарвардского университета на форзаце книги А. П. Нечаева}

Однако вернемся к развитию науки об измерениях. В середине XX века (в 1947 году) вышла книга[9] ученицы Тёрстоуна Дороти Эдкинс (1912–1975). Она рассказывала, как сделать так, чтобы задания, которые мы даем студентам, проявляли именно ту невидимую характеристику, которую мы хотим измерить. Другими словами, в этой книге приводится содержательная связка и даются инструменты для связывания невидимой характеристики с наблюдаемыми индикаторами. В 1958 году вышла другая значимая работа[10] Эдкинс, в которой были представлены научно обоснованные рекомендации о том, как на основании педагогических измерений улучшать обучение – «настраивать» его на учащихся. С этого момента психометрику можно считать драйвером доказательного образования, основанного на данных, собираемых с помощью научных методов. (Да, да, доказательное образование появилось задолго до того, как о нем заговорили как о rocket science.)

Постепенно простые способы, такие как вычисление среднего, предложенное еще Эджуортом в 1888 году, были доработаны до полноценных психометрических теорий – сначала той, что сегодня известна как «классическая» (1940–1950-е), а позднее – современной (1960–1970-е). В фундаментальной книге «Статистические теории тестовых баллов»[11] (1968) Фредерика Лорда (1912–2000) и Мелвина Новика (1932–1986) приводятся вычислительные обоснования валидности, точности и надежности измерений и закрепляется статистический аппарат для соответствующих метрик. Можно считать, что у науки об измерении невидимого появились глубокий и надежный фундамент и правила функционирования.

С усовершенствованием компьютеров и их вычислительных возможностей стали широко использоваться и развиваться более сложные математические подходы. Название «Современная теория тестирования» (Item Response Theory) объединяет большое количество математических моделей, предназначенных для оценки все тех же непосредственно ненаблюдаемых характеристик. Дальнейшее развитие психометрики связано с поиском и внедрением улучшений для второй части главного принципа – статистической обработки результатов наблюдений и вычисления соответствующих метрик. Ученые выясняют: а как быть с заданиями, где правильный ответ может быть частичным, – и возникает серия моделей, называемых политомическими. Ученые задаются вопросом: а что, если не одна, а совокупность невидимых характеристик определяет наблюдаемые результаты? Так появляются многомерные и когнитивные диагностические модели. Ученые исследуют, как время выполнения заданий уточняет метрику невидимого, – и здесь рождаются специальные модели с учетом времени ответа (response time). Ученые выясняют, как контекстная информация о студенте (например, возраст или учебная группа) и заданиях (например, тип задания или наличие иллюстрации) описывает и объясняет получаемые метрики. Наконец, прямо сейчас, в 2024 году, психометрические модели строятся как частный случай искусственных нейронных сетей автокодировщиков – бум искусственного интеллекта не обошел стороной измерения невидимого.

Направлений в современной психометрике десятки, а статистических моделей сотни: практически для каждого частного случая предложена новая модель, и каждый год появляются актуальные модели и решения. В 2024 году ежегодная конференция Психометрического общества, прошедшая 16–19 июля в Праге, собрала рекордные 570 участников из 40 стран мира. Каждый участник конференции либо представил улучшение существующих моделей, либо презентовал новую. Каждая предложенная модель имеет свои требования, допущения и ограничения, соответственно, приложение модели становится максимально сфокусированным на узкой задаче и специфичным с точки зрения контекста.

После десятилетий забвения этой темы работы по психометрике появились и в России. В книге «Теория и практика конструирования педагогических тестов» (2002) Марина Челышкова (1947–2022) раскрывает первую часть главного принципа психометрики: чтобы измерить невидимое, нужно дать ему проявиться через наблюдаемое поведение. В свою очередь, в книге «Моделирование и параметризация тестов: основы теории и приложения» (2008) Елена Карданова поясняет вторую часть этого принципа: статистическая обработка результатов наблюдений и вычисление соответствующих метрик. Значимость обеих книг заключается в том, что они обобщают западные разработки и представляют их на русском языке.

Важную роль в развитии науки в России сыграл Александр Шмелёв, автор книги «Практическая тестология» (2013), выступивший соорганизатором первого в нашей стране стандарта тестирования («Российский стандарт тестирования персонала», 2015), соавторами которого стали 15 крупных ученых и практиков. Каждый год появляются десятки статей российских психометриков, в которых рассматриваются проблемы измерений или описываются новые тесты и проведенные с их помощью исследования.

Наука об измерении невидимого за полтора века существования стала очень сложной, и с позиции практики к ней объективно непросто подступиться. При этом ее польза для образования и EdTech неоспорима. В этой книге я рискнул дать базовый универсальный инструментарий, который, с одной стороны, будет прост для использования практически в любом EdTech-проекте, а с другой – останется в рамках науки, позволяющих обеспечивать качество получаемых измерений. Важно относиться к этой книге именно как к описанию первых шагов, которые помогут выстроить систему в больших и малых образовательных проектах и приведут к продуктовым результатам, таким как улучшение контента, учебного опыта и достижений студентов.

С целью демонстрации вычислений в этой книге я выбрал язык программирования R – мощный инструмент для статистических вычислений и графики, созданный в 1993 году Россом Ихакой и Робертом Джентлменом. R быстро завоевал популярность и стал одним из наиболее востребованных инструментов статистического анализа и визуализации данных. Основные преимущества R заключаются в его обширной функциональности, огромном наборе доступных пакетов и активности сообщества пользователей, что делает его незаменимым для аналитиков данных. Несмотря на наличие альтернатив, таких как универсальный язык программирования Python, я остановился на R по двум причинам. Во-первых, R был изначально разработан для задач статистики и визуализации, что делает его более понятным и удобным именно для этих целей. Во-вторых, для новичков в области анализа данных R может оказаться более доступным благодаря своей узкой направленности на статистические задачи и логичному синтаксису. Таким образом, использование R в этой книге позволяет сосредоточиться на самом важном – вычислениях – и не отвлекаться на технические детали и настройки.

Другая особенность книги состоит в том, что я использую только один пакет R – библиотеку dplyr. Этот пакет, один из самых популярных, предназначен для манипулирования данными и предлагает интуитивно понятные и эффективные функции для работы с таблицами данных. Пакет разработан Хэдли Уикхэмом и его командой и представляет собой настоящую грамматику анализа данных. Будучи простым и интуитивно понятным, он оптимизирован для работы с большими наборами данных и обеспечивает высокую производительность. Функции dplyr – это все, что нужно для первых шагов. Например, функция filter() используется для отбора строк из данных, соответствующих определенным условиям. Это особенно полезно, когда необходимо выделить подмножество данных для анализа. Функция select() позволяет выбрать определенные столбцы из данных – это упрощает работу и дает возможность сфокусироваться на конкретных переменных. С помощью функции mutate() можно создавать новые столбцы или изменять существующие, чтобы добавлять новые переменные, основанные на имеющихся данных. Функция summarize() используется для агрегации данных, что позволяет вычислять различные статистики, такие как средние значения, суммы или медианы. С помощью функции arrange() можно сортировать строки в данных по значениям одного или нескольких столбцов. Это правда все, что нам нужно для первых шагов в психометрике.

И наконец, в этой книге мы используем для вычислений только реальные данные. Датасеты доступны для скачивания по ссылкам и QR-кодам, указанным в соответствующих главах. Данные представляют собой результаты выполнения студентами Яндекс Практикума заданий из трех вводных (бесплатных) онлайн-курсов по анализу данных, тестированию программного обеспечения (QA) и программированию. Задания разнообразны и содержат как квизы с выбором ответов, так и задачи онлайн-тренажера, где студенты самостоятельно вводят кодовое решение. В каждом из трех курсов я случайно выбрал по 250 студентов, проходивших обучение в период с августа 2023 года по январь 2024 года. Данные были анонимизированы и перекодированы в соответствии с современными стандартами и с использованием нескольких алгоритмов шифрования (md5, crc32, xxhash32, murmur32 и других).

Таким образом, несмотря на то, что наше погружение в анализ данных только начинается, мы делаем это основательно, уверенно и сразу по-настоящему.

Качество любой метрики зависит от качества данных, на основании которых эта метрика рассчитывается. В компьютерных науках существует концепция «мусор на входе – мусор на выходе», которая заключается в том, что некорректные (или «мусорные», то есть содержащие шум или ошибки) входные данные приводят к абсурдному результату. Рассмотрим несколько ситуаций, иллюстрирующих эту концепцию. Все примеры реальны и основаны на онлайн-тренажере по программированию, в котором студенты решают задачи, сопровождающиеся краткой теорией и встроенными подсказками, которыми можно воспользоваться по желанию. Задачи по содержанию объединены в блоки – уроки.

Ситуация 1. Система логирования данных фиксирует только общее количество (или долю) верно решенных студентом задач в уроке. Это очень ограниченный подход к логированию, так как он не фиксирует результаты решения отдельных задач. Аналитик, работающий с такими данными, видит, например, что студент решил 7 из 10 позиций. Однако это не дает информации о том, с какими именно задачами он не справился, соответственно, отсутствует возможность рассчитать трудность каждой. В результате методист, разрабатывающий курс, может сделать неверные выводы о том, какие задачи и связанная с ними теория нуждаются в доработке.

Ситуация 2. Представим, что система записывает информацию о решении студентом каждой задачи, при этом логирует только последнюю попытку, удаляя все предыдущие. В этом случае аналитик получает искаженную информацию, так как последние попытки в подавляющем большинстве случаев успешны. Такие данные скрывают реальную картину усилий студента, потому что мы не знаем, сколько попыток им было предпринято, прежде чем он нашел правильное решение. Это может ввести в заблуждение методиста, который, основываясь на полученных данных, может считать, что студенты с легкостью справляются с предложенными задачами, и, возможно, задумается о том, чтобы добавить задачи «со звездочкой».

Ситуация 3. Система логирует каждую попытку решения задачи, но не фиксирует использование студентами подсказок. Аналитик может интерпретировать успешные попытки как хорошее освоение материала, но такая интерпретация окажется искаженной и даже ложной. Методист, не имея информации о том, как студенты используют дополнительные ресурсы, не оценит их значимости в процессе обучения.

В каждом из этих примеров мы видим феномен «не то чтобы совсем “мусор на входе – мусор на выходе”», но «недостаточно тщательный подход к отбору данных на входе – возможные ошибки на выходе», и это происходит из-за недостаточности или неадекватности логированных данных. В первом случае, когда отслеживается только общее количество решенных задач, мы теряем информацию о сложности отдельных заданий и о том, с какими именно проблемами сталкиваются студенты. Во втором примере, фиксируя только последнюю попытку решения, упускаем из виду всю историю попыток и усилий, что создает ошибочное представление об обучении. В третьем случае, не учитывая использование подсказок, получаем искаженное представление об успехе студентов. Таким образом, в каждом из этих сценариев неполные или неадекватные данные ведут к неправильным или искаженным выводам, что влияет на качество разработки и оптимизации EdTech-продуктов.

Описанные ситуации подчеркивают критическую важность корректного логирования данных. Тщательное и всестороннее логирование не только помогает аналитикам получить адекватное представление об учебном процессе, но и обеспечивает методистов необходимой информацией для адаптации и улучшения курсов. Так мы можем сформулировать первый принцип: лог должен репрезентировать взаимодействие студента с образовательным продуктом. Это значит, что каждое учебное действие студента внутри продукта должно логироваться.

Для корректного логирования нужно определить минимальные (атомарные) учебные элементы внутри продукта. Что считается минимальным элементом? Например, одно задание в тесте. Почему этот элемент минимальный? Потому что тестовое задание одно, и оно цельно или неделимо. Другими словами, нет ничего более мелкого и при этом цельного. Минимальным учебным элементом является видеоролик или текстовый материал. Видеоролик и текстовый материал – целые и неделимые единицы контента. А вот урок, состоящий из одного видеоролика, одного текстового материала и трех тестовых заданий, минимальным учебным элементом назвать нельзя.

Для иллюстрации воспользуемся метафорой «яблоневый сад». Сад один, но он может быть рассмотрен как группа деревьев. Дерево – как совокупность веток. Каждая ветка – как набор листьев и плодов. Таким образом, лист и плод будут минимальными элементами. Конечно, мы можем увлечься и начать препарировать листья и плоды, а затем вооружиться микроскопом… Но все же образ чего-то минимально целого и, главное, здравый смысл остановят нас. Почему здравый смысл? Потому что поиск минимального элемента мы ведем в интересах методиста и студента, а для большинства учебных продуктов минимальными элементами будут одно задание и одна единица учебного материала в формате видео или текста.

Разобравшись с минимальными учебными элементами, можем определиться и с минимальными учебными действиями. Эта книга написана в большей степени для практиков образования, чем для академических исследователей. А практика любит простоту. Именно поэтому, исходя из простоты, минимальным учебным действием будем считать цельное взаимодействие студента с минимальным учебным элементом. Например, в случае тестового задания этим взаимодействием является выполнение этого задания (пока мы не говорим о правильности выполнения; об этом речь пойдет далее). В случае, когда рассматриваются текстовый материал и видеоролик, минимальными учебными действиями будут прочтение этого материала и просмотр ролика. Почему такой подход простой? Потому что мы можем однозначно ответить на вопрос о том, совершено ли студентом минимальное учебное действие: «Да, тестовое задание выполнено»; «Нет, видеоролик не просмотрен»; «Да, текстовый материал прочитан». Такой подход обеспечивает достаточность данных для дальнейшей психометрической работы.

Однако возникает вопрос: а разве нельзя прочесть половину текстового материала или просмотреть половину видеоролика? Конечно, можно. Для этого существуют более сложные подходы к логированию данных, фиксирующие, например, старт, паузу, возобновление, завершение взаимодействия с видеороликом или текстовым материалом. Такое тонкое логирование в настоящее время используется преимущественно в академических исследованиях: например, можно ли по положению курсора на экране оценивать, куда смотрит студент, чтобы не использовать трудоемкие айтрекеры. Но, учитывая практический, а не академический фокус этой книги, будем относить такое логирование к дополнительным возможностям.

Итак, мы разобрались с тем, что такое минимальные учебные элементы и минимальные учебные действия. И помним главный принцип: лог должен репрезентировать взаимодействие студента с образовательным продуктом. Теперь выясним, как корректно логировать минимальные учебные действия.

Для корректного логирования нужно понимать, как устроено минимальное учебное действие в продукте, какова его механика. Начнем с самого простого случая: студент выполняет тестовое задание с одним верным вариантом ответа. Это минимальное действие предполагает только два исхода: верный либо неверный ответ. В табл. 1 представлено, как может выглядеть лог этого учебного действия.

^{Таблица 1. Лог, фиксирующий только верное или неверное выполнение студентом двух заданий. Длинный формат}

В аналитике используют два формата данных: длинный (long) и широкий (wide). В длинном формате каждое действие студента представлено отдельной строкой. В широком – действие приводится на пересечении строки и столбца, где в строке – идентификатор студента, а в столбце – идентификатор действия. Широкий формат для представленного примера приведен в табл. 2.

^{Таблица 2. Лог, фиксирующий только верное или неверное выполнение задания. Широкий формат}

Форматы можно преобразовывать друг в друга, но лишь длинный позволяет детально логировать действия студента, он более гибкий, и, как правило, именно он применяется на практике. Далее мы будем рассматривать только такой формат представления данных.

Мы видим, что лог содержит по два минимальных учебных действия для двух студентов с идентификаторами s001 и s002. Они выполняли два задания с идентификаторами t001 и t002 соответственно. При этом студент s001 с первым заданием справился (выполнил верно), а со вторым – нет (выполнил неверно). Студент s002 справился с обоими заданиями. Важно отметить, что такой лог соответствует простейшей механике, когда у студента есть только одна попытка для выполнения задания. Если студент не приступал к выполнению задания, лог будет отсутствовать.

Но что, если студенту доступны несколько (или бесконечное число) попыток для выполнения задания? В таком случае необходимо логирование каждой попытки, а лог может принять следующий вид (табл. 3):

^{Таблица 3. Лог, фиксирующий количество попыток и правильность выполнения заданий}

Мы видим пять строк лога, отражающих взаимодействие студента s001 с двумя заданиями t001 и t002. С первым заданием студент справился с третьей попытки, соответственно, мы видим три строки, где в первой и второй отмечен неверный ответ (0 в переменной is_correct), а в третьей – верный (1 в переменной is_correct). Со вторым заданием студент справился со второй попытки, соответственно, в логе мы видим две строки. Для идентификации попыток важно добавить в структуру еще одну переменную – отметку времени совершения попытки (timestamp).

На практике часто встречаются ситуации, когда студент, выполняя задание, может дать частично верный ответ. Так, существует разновидность тестовых заданий, в которых необходимо выбрать несколько верных ответов из нескольких возможных. Кроме того, в тренажерах по программированию или анализу данных встречаются задачи, состоящие из нескольких действий (например: 1) отсортировать, 2) отфильтровать, 3) построить график). В исследовательской литературе задания, которые имеют один верный ответ, называют дихотомическими, или бинарными (возможные баллы за такое задание: 0 или 1). Задания, для которых возможен частично верный ответ, называют политомическими (за них можно получить баллы 0, 1, 2 и т. д. в зависимости от количества верно выполненных элементов).

Возникает вопрос: как должна выглядеть переменная is_correct в случае политомического задания (в котором возможен частично верный ответ)? Есть большое количество способов логирования. Но моя практика показывает, что наиболее часто встречаются два варианта. Первый – перевести частично верный ответ к дихотомическому (или бинарному) формату, где, например, если решение студента верно наполовину и более, присваивать 1, а если менее – 0. Возможны как более строгая, так и более мягкая формы перевода. В более строгом случае 1 мы начисляем только при полностью верном решении, а в остальных случаях – 0. В более мягкой форме 1 можно присваивать решению, в котором хотя бы что-то было выбрано/сделано верно. Форму следует выбирать совместно с командой методистов, в идеальном варианте – посоветоваться со специалистом-психометриком. Но, признаюсь, этот вариант мне нравится меньше всего, потому что в любом случае мы отправляем в лог искаженную информацию о реальном поведении студента. А ведь мы помним главный принцип: лог должен репрезентировать взаимодействие студента с образовательным продуктом. Чтобы следовать этому принципу, я разработал второй вариант – универсальное подробное логирование.

При универсальном подробном логировании мы заменяем переменную is_correct четырьмя переменными: task_correct, task_incorrect, selected_correct и selected_incorrect, где task_correct – это общее количество верных вариантов ответа в задании, задуманное автором; task_incorrect – общее количество неверных вариантов ответа; selected_correct – количество верных вариантов ответа, выбранное студентом, и, наконец, selected_incorrect – количество неверных вариантов ответа, выбранное студентом. Универсальное подробное логирование позволяет записывать результаты выполнения любых заданий без потери информации.

Рассмотрим разные сценарии отдельно.

Начнем с ранее описанного задания, в котором есть только один верный вариант ответа. В таком случае при логировании работают всего две колонки: task_correct, которая показывает, что в задании только один верный вариант ответа, и selected_correct, которая показывает, выбрал ли студент этот верный вариант ответа (или, в случае с задачами, выполнил ли студент задачу верно). Для таких заданий эти колонки неприменимы, и лог будет иметь следующий вид (табл. 4):

^{Таблица 4. Универсальный подробный лог двух попыток решения для задания с одним верным ответом}

Мы видим, что студент s001 при первой попытке не справился с этим заданием, что обозначено как 0 в переменной selected_correct. Со второй попытки студент выполнил задание верно, следовательно, в колонке selected_correct отмечено 1. При этом колонки task_incorrect и selected incorrect имеют значения NA (not applicable, то есть «неприменимо»), так как в задании возможен только один верный ответ.

У рассмотренного задания есть частный случай типа «альтернатива». В таких заданиях только два варианта ответа: да/нет. Если студент справляется с первой попытки, то лог будет таким (табл. 5):

^{Таблица 5. Универсальный подробный лог задания с одним верным и одним неверным ответом, решенного с первой попытки}

Мы снова встречаем значения NA в колонках task_incorrect и selected_incorrect, потому что в заданиях, где возможен только один верный ответ (а задание типа «альтернатива» является именно таким), эти колонки неприменимы.

Теперь рассмотрим задание, в котором возможны несколько верных вариантов ответа, например три из пяти предложенных. В этом случае лог принимает следующий вид (табл. 6):

^{Таблица 6. Универсальный подробный лог для двух попыток решения политомического задания с тремя верными и двумя неверными ответами}

Колонки task_correct и task_incorrect отображают дизайн задания: мы видим, что имеются три верных и два неверных варианта ответа, а их общее число равно сумме этих колонок – пяти. Колонки selected_correct и selected_incorrect показывают результат выполнения студентом задания при каждой попытке. Мы видим, что при первой попытке студент выбрал один верный ответ (из трех возможных) и два неверных (из двух возможных), а при второй – три (из трех возможных) верных и ноль неверных.

Наконец, если студент решает задачу с пятью действиями (где нет неверных вариантов), лог будет выглядеть так (табл. 7):

^{Таблица 7. Универсальный подробный лог для задач, в которых нет готовых для выбора верных и неверных ответов}

Мы снова видим значения NA в колонках task_incorrect и selected_incorrect. Но на этот раз в задаче по конструкции отсутствуют неверные варианты ответа, поэтому их логирование в эти колонки неприменимо. Мы также видим, что студент справился с тремя действиями из пяти. Именно поэтому в колонке selected_correct стоит цифра 3, а в колонке task_correct – 5.

Обобщим. При универсальном подробном логировании колонки task_incorrect и selected_incorrect будут оставаться пустыми (неприменимыми) в двух случаях: если в заданиях предусмотрен только один верный ответ и если в задании не предусмотрены неверные варианты. В первом случае эти колонки неприменимы потому, что колонки task_correct и selected_incorrect уже несут в себе информацию, справился ли студент с этим заданием или нет, и в заполнении колонок task_incorrect и selected_incorrect нет никакой необходимости. А во втором случае эти колонки неприменимы потому, что в самом задании отсутствует механика выбора неверного варианта ответа, а значит, заполнять колонки task_incorrect и selected_incorrect попросту нечем.

А что, если механика минимального учебного действия устроена так, что студент может воспользоваться подсказкой, доступной в учебном продукте? Тогда это необходимо залогировать, потому что решение без подсказки и решение с подсказкой – принципиально разные учебные действия. Рассмотрим пример логирования минимальных учебных действий с учетом использования подсказок.

Представим задание, в котором возможны несколько верных вариантов ответа, например три из пяти предложенных. В этом случае лог принимает следующий вид (табл. 8):

^{Таблица 8. Лог политомического задания, решенного полностью верно со второй попытки, с добавлением фиксации использования подсказки}

Из лога мы видим, что первая попытка решения задания t001 была неудачной. Но при выполнении второй попытки студент s001 воспользовался подсказкой (в новой переменной hint_used видим отметку 1) и в результате выполнил задание верно.

А что, если подсказки разные или в учебном продукте имеются другие помогающие механики? Ответ простой: следуя принципу «лог должен репрезентировать взаимодействие студента с образовательным продуктом», необходимо включать в лог все механики, доступные студенту в образовательном продукте. А для того чтобы ничего не упустить, нужно провести валидацию лога.

Процесс валидации лога заключается в том, чтобы пройти полноценную с точки зрения доступных учебных механик часть продукта, например урок или тему. При этом следует законспектировать все свои действия, которые должны быть максимально разнообразными как по отдельности, так и в комбинации: дать неверный ответ, дать верный ответ, воспользоваться подсказкой, выбрать сразу все варианты ответа, отправить задание на проверку, не отметив ни одного ответа, и так далее. Затем нужно сравнить ваши реальные действия с залогированными. Корректный лог должен включать все, что вы делали, взаимодействуя с продуктом. Выявленные расхождения необходимо учесть в новой версии логирования. В дальнейшем при добавлении новых механик в учебный продукт нужно помнить о том, что их следует отразить и в логе. Другими словами, валидация лога производится при каждом изменении и/или дополнении механик продукта.

Для того чтобы обрисовать современное представление о психометрическом моделировании, обратимся к метафоре. Представьте двух атлетов. Оба стараются изо всех сил, чтобы добиться желаемого результата. Это значит, что на результат оказывают влияние оба одновременно. Однако в результате поединка один одержит победу, а второй проиграет. Но кто из двух? Более сильный и ловкий, не так ли? Чтобы прогнозировать результат поединка, мы изучаем характеристику каждого атлета, статистику их побед и поражений, динамику массы тела и прошлых травм, отмечаем любимые приемы и слабые места, смену тренеров и команд, анализируем их предыдущие поединки, мысленно сравниваем друг с другом. А чтобы объяснить результаты текущего поединка, обращаем внимание на их взаимодействие, на условия поединка: кто оказался в новом для себя климате, а у кого произошла смена часовых поясов.

Теперь на место одного атлета поставим студента, а на место второго – задание. Студент пытается решить задачу. Но сможет ли? На результаты этого «поединка» влияют «оба атлета»: как студент, так и задача. Чем сильнее студент, тем выше шансы на верное решение. Чем сложнее задача, тем эти шансы ниже. Важнейшая задача психометрики – исследовать максимально подробно и точно обе стороны: характеристики и студента, и задачи.

В этой главе мы познакомимся с характеристиками задач в узком смысле и учебного контента – в широком. И разберем несколько метрик заданий по принципу от простого к сложному.

Начиная с этой главы, я буду приводить примеры кода для расчетов метрик на языке R. Поскольку части книги, включающие вычислительный код, рассчитаны на начинающих EdTech-аналитиков или методистов с базовым знанием языков программирования, объяснения будут подробно аннотированы.

Начнем с самого простого случая. Студент выполняет задание, и у него только одна попытка. Можно считать, что у задания есть некое общее свойство, определяющее, насколько хорошо студенты с ним справятся. Обычно это свойство называют трудностью задания, и выражается оно по-разному.

Самый простой способ – рассчитать долю верных ответов. Для этого определяем долю верных ответов на это задание относительно общего количества ответов на него. Или, другими словами, вычисляем долю студентов, которые справились с этим заданием, от числа всех студентов, приступивших к его решению. Этот способ пришел из классической психометрической теории (или классической теории тестирования). Доля верных ответов будет иметь границы от 0 до 1, где 0 означает, что с заданием не справился никто из студентов, и 1 – что с задачей справились все студенты. Как было отмечено, доля верных ответов часто интерпретируется как трудность задания. Но важно обратить внимание, что высокие значения соответствуют простым задачам, то есть чем выше доля верных ответов, тем легче задание.

Рассчитаем долю верных ответов на реальном примере. У нас есть датасет (скачайте этот файл под названием book_dataset_1.tsv по ссылке clck.ru/3EivRg и поместите в рабочую директорию R). Он содержит несколько переменных: student_id, course_id, topic_id, lesson_id, task_id, is_correct, но для расчета доли верных ответов в этом простейшем случае нужны только три: student_id, task_id и is_correct. Первая представляет анонимизированный идентификатор студента, вторая – идентификатор задания, а третья – маркировку ответа студента на задание, где 1 – ответ верный и 0 – ответ неверный. У студентов из этого примера была только одна попытка решения, поэтому в датасете только одна пара «студент – задание» с соответствующей этой паре маркировкой ответа.

Начнем с того, что подгрузим этот датасет с помощью следующей строчки кода:

Проще всего познакомиться со структурой и содержанием датасета с помощью команды которая всегда выводит первые шесть строк данных – head(as.data.frame(df)). Выполнив ее, вы получите следующее (скрин. 1):

^{Скриншот 1}

Мы видим идентификатор студента, идентификаторы курса, темы, урока и задания и маркировку ответа на задание. Мы понимаем, что студент с идентификатором d8800e0cba2cf3dce798f3dd4aec441f справился со вторым, четвертым, пятым и шестым заданиями и не справился с первым и вторым. Все шесть заданий относятся к курсу с идентификатором 50a9e052, при этом первые пять – к теме с идентификатором 9f44ae60, а шестое – к теме с идентификатором 48b34158. Первые три задания относятся к уроку 3ada2f9f, четвертое и пятое – к уроку d59bafc3 и шестое – к уроку 09544a3d. В этом продукте задания вложены в уроки, уроки в темы, темы в курсы, а курс составляет отдельный продукт (в этом датасете он один).

Далее нам нужно установить и загрузить пакет dplyr. Сделать это можно последовательно с помощью команд install.packages("dplyr") и library(dplyr). Первую нужно использовать один раз, так как она скачивает необходимый пакет и устанавливает его на ваш компьютер. А вторую команду важно задействовать каждый раз перед началом рабочей сессии (открыли R, воспользовались командой и далее применяем код из этой книги).

Итак, для того чтобы рассчитать долю верных ответов, необходимо воспользоваться следующим кодом:

Разберем этот код последовательно. Сначала данные df группируются по заданиям с помощью команды group_by(task_id). Условно все ответы на отдельное задание раскладываются по корзинкам, каждая из которых соответствует одному заданию и маркируется его идентификатором. Затем в каждой корзинке считаем количество верных ответов (n_Correct) с помощью команды n_Correct = sum(is_correct == 1) и количество неверных ответов (n_Incorrect) с помощью команды n_Incorrect = sum(is_correct == 0). После мы можем рассчитать долю верных ответов в каждой корзинке, то есть для каждого задания, с помощью команды p_i = round (n_Correct / (n_Correct + n_Incorrect), 2). Вы видите, что мы вычисляем долю студентов, справившихся с заданием верно (n_Correct), от общего числа студентов, решавших это задание и, соответственно, давших верный и неверный ответы (n_Correct + n_Incorrect). В результате получаем значение доли верных ответов (p_i) в каждой корзинке. Эти значения помещаются в таблицу с аналогичным названием (p_i), где p – proportion (proportion correct, доля верных ответов), а i – это индекс, которым обычно обозначают задания (от слова items). В таблице имеются два столбца: первый с идентификатором задания task_id, а второй – с соответствующей ему долей верных ответов p_i.

Рассмотрим иллюстрационную (а не рассчитанную на датасете) таблицу (табл. 9).

^{Таблица 9. Доли верных ответов для четырех заданий}

Мы видим, что значения доли верных ответов варьируются. С первым заданием с идентификатором t001 справились 12 % студентов, со вторым – 97 %, с третьим и четвертым заданиями – 35 и 81 % соответственно. Как интерпретировать эти значения?

С точки зрения учебных заданий оптимальными считаются те, доля верных решений в которых составляет 75–95 %. Наша практика показывает, что оптимальных учебных результатов (например, получают более высокие оценки за проектные работы и с наибольшей вероятностью завершают обучение) добиваются те студенты, у которых доля успехов в учебном процессе составляет 75–95 %. Такую долю успеха формируют учебные задания с соответствующей долей верных решений (при условии только одной попытки на их решение). Задания с долей верных решений в интервале от 50 до 75 % считаются субоптимальными; с долей верных решений ниже 50 % – фрустрирующими (или фрустрирующе трудными), а с долей верных решений выше 95 % – скучными.

Эти градации я подсчитывал и валидировал во время работы в международном Практикуме (ныне TripleTen), поэтому их названия в оригинале были сформулированы на английском языке: frustrating (фрустрирующие, < 50 %), suboptimal (субоптимальные, от 50 до 75 %), optimal (оптимальные, от 75 до 95 %) и boring (скучные, выше 95 %). Отмечу, что в одном из современных исследований, опубликованном во влиятельном журнале Nature[12] в 2019 году, ученые из США эмпирически рассчитали оптимальную долю успехов и провалов в обучении: 85/15. Как видно, эта оптимальная категория находится ровно в середине нашей оптимальной категории (75–95 %). Для удобства представим референсные значения в виде таблицы (табл. 10).

^{Таблица 10. Референсные интервалы с интерпретациями для доли верных ответов}

Если же рассуждать не об учебных, а о проверочных заданиях или экзаменах, то существуют конвенциональные границы, предложенные в классической психометрической теории (или классической теории тестирования): задания с трудностью менее 0,1 считаются очень трудными (их верно решило менее 10 % выборки); с трудностью от 0,1 до 0,2 – просто трудными; диапазон от 0,2 до 0,8 наиболее продуктивен для измерений с целью подведения итогов или отбора лучших; задания с трудностью выше 0,8 оцениваются как легкие, а выше 0,9 – очень легкие.

В целом нужно заметить, что оценка доли верных ответов обычно зависит от ситуации оценивания, типа заданий, от обучающейся аудитории – иными словами, от всего того контекста, в котором идет борьба студентов с заданиями. Тут важно сделать оговорку: если в спорте стремятся победить обе стороны, то в образовании наша задача все же сбалансировать взаимодействие студентов с заданиями, ориентируясь на пользу для студента.

А теперь усложним рассмотренный случай и представим, что у студентов есть возможность совершить несколько попыток. В этом случае в датасете каждая строка будет показывать результат одной попытки решения задания. В предыдущей главе мы говорили о том, что если студенту доступны несколько попыток для решения задания, то обязательным условием является добавление переменной timestamp (то есть сведений о времени выполнения действия; в приведенном примере эта переменная называется timestamp).

Соответственно, минимально достаточная структура датасета должна быть представлена уже четырьмя столбцами: student_id, task_id, is_correct и timestamp. В нашем втором датасете эти переменные есть (скачайте соответствующий датасет под названием book_dataset_2a.tsv по ссылке clck.ru/3Eivwc и поместите в рабочую директорию R), но кроме них в датасете содержатся еще и переменные course_id, topic_id и lesson_id, показывающие иерархическую вложенность содержания.

Есть несколько способов выразить свойство задания (условно – его трудность). Один из них – рассчитать долю верных ответов по первой попытке. Давайте сделаем это. Сначала подгрузим данные с помощью команды df <– read.table("book_dataset_2a.tsv", header = TRUE, quote = "", sep = "\t"). Выведем первые шесть строк этого датасета с помощью уже знакомой нам команды head(as.data.frame(df)) и убедимся в наличии необходимых переменных (student_id, task_id, is_correct и timestamp, скрин. 2).

^{Скриншот 2}

Однако для расчетов недостаточно иметь метку времени (timestamp). Необходима отдельная переменная, которая содержит номер попытки, и ее нужно вычислить. Воспользуемся следующим кодом:

В этом коде данные группируются по студентам и заданиям: команда group_by(student_id, task_id) формирует корзинки, в каждой из которых один студент и одно задание. Если студент совершил несколько попыток, в соответствующей корзинке окажутся несколько (дублирующихся) пар для этого студента и этого задания со своей индивидуальной меткой времени. Затем с помощью команды arrange(timestamp) каждая корзинка упорядочивается по метке времени от самых ранних к самым поздним решениям. Наконец, команда mutate(attempt = row_number()) последовательно нумерует упорядоченные строки в каждой корзинке и называет полученную переменную attempt. Эта нумерация отражает попытки, последовательно предпринятые студентом при решении каждого задания. В результате, снова воспользовавшись командой head(as.data.frame(df)), мы теперь увидим в данных не четыре, а пять столбцов, и последний – новая переменная attempt (скрин. 3).

^{Скриншот 3}

Далее рассчитаем собственно долю верных решений по первой попытке с помощью следующего кода:

Этот код вам уже знаком. Его единственное отличие от кода для расчета доли верных ответов в заданиях с одной попыткой, что мы рассматривали ранее, заключается в добавленной команде filter(attempt == 1). Она отбирает только первые попытки, и далее расчет не меняется. Результирующая переменная и сама таблица будут называться p_i1, где индекс 1 обозначает первую попытку.

Интерпретировать полученные значения можно опираясь на границы, приведенные в таблице 10. Так, каждое значение будет отнесено к одной из четырех категорий: скучное, оптимальное, субоптимальное или фрустрирующее. Пожалуй, достоинство этого подхода состоит в том, что мы можем интерпретировать результаты заданий как с одной попыткой, так и с несколькими, используя одни референсные значения (потому что в заданиях с несколькими попытками мы используем только первую для расчетов). Однако существенным ограничением этого подхода является то, что мы теряем всю информацию о свойстве задания, которая находится за пределами первой попытки.

Для того чтобы выразить свойство задания (его трудность), существует способ, который отчасти снимает указанное ограничение: нужно подсчитать долю верных ответов для первых, например трех, попыток. В случае первой попытки считаем долю студентов, справившихся с задачей верно относительно тех, кто ее решал. Для второй попытки нужно обеспечить общее количество студентов, равное тому, что было при первой попытке. Как это сделать? Нужно количество студентов, решивших задачу с первой попытки (соответственно, они не воспользовались второй попыткой), сложить с количеством студентов, которые справились с задачей со второй попытки, и поделить на число, которое только что получилось, плюс количество студентов, которые не справились с задачей со второй попытки. Такой подход я назвал транзитивной долей верных ответов. Мы просто переносим долю справившихся корректно из попытки в попытку, чтобы сохранить общее количество студентов в каждой попытке. Это дает возможность сравнивать значения между попытками.

В предыдущем пункте этой главы мы уже рассчитали переменную попытки (attempt) на основании переменной метки времени (timestamp); она уже есть в наших данных (df). Но на новых датасетах эту процедуру необходимо повторить, так как для дальнейшего расчета нам нужна переменная attempt.

Так мы можем приступить к расчету транзитивной доли верных ответов по отдельным попыткам. Для этого понадобится код:

Разберемся, что делает этот код. Сначала с помощью команды filter(attempt <= 3) отбираем первые три попытки. Моя практика показывает, что первые три попытки обычно наиболее информативны для расчета транзитивной доли верных ответов (можно брать и большее число попыток, например пять, – все зависит от специфики вашего продукта). Затем с помощью команды group_by(task_id, attempt) группируем данные по большим корзинкам, объединяющим задание, и внутри каждой большой корзинки собираем три маленькие, каждая из которых представляет собой первую, вторую и третью попытки. Затем в каждой маленькой корзинке рассчитываем количество верных и неверных ответов с помощью команд n_Correct = sum(is_correct == 1) и n_Incorrect = sum(is_correct == 0) соответственно. Затем внутри каждой большой корзинки, соответствующей заданию (group_by(task_id)), определяем транзитивную корректность каждой попытки, применяя команду cum_n_Correct = cumsum(n_Correct). По сути, для первой попытки это просто значение количества верных ответов; для второй мы суммируем количество верных ответов в первой и во второй попытках, вместе взятых, а для третьей суммируем количество верных ответов в первой, второй и третьей попытках. В итоге с помощью команды p_ia = round(cum_n_Correct / (cum_n_Correct + n_Incorrect), 2) рассчитываем долю верных ответов с учетом транзитивности для каждой попытки каждого задания. В результате применения получаем таблицу p_ia (чтобы познакомиться с первыми шестью строками этой таблицы, воспользуйтесь командой head(as.data.frame(p_ia))), состоящую из трех столбцов: task_id, attempt и p_ia. В ней мы видим значение доли верных ответов, соответствующее заданию task_id и попытке attempt. В названии таблицы и интересующей нас переменной (p_ia) добавленная буква a обозначает попытку (attempt), чтобы различить индексы для доли верных ответов и транзитивной доли верных ответов по попыткам.

Однако такое отображение (в длинном формате, в котором для интерпретации требуется сопоставлять задание и номер попытки) может показаться пользователю не очень удобным для сравнения доли верных ответов внутри задания. Поэтому перегруппируем результаты в более удобное представление – широкий формат, где каждая строка соответствует отдельному заданию, а в столбцах приводятся номера попыток. Для этого сначала загрузим дополнительную библиотеку (это единственный случай, когда нам нужна дополнительная библиотека), последовательно применив команды install.packages("tidyr") и library(tidyr), а затем воспользуемся командой

В итоге получаем таблицу в удобном для работы виде, где p_i1, p_i2 и p_i3 – значения транзитивной доли верных попыток соответственно для первой, второй и третьей попыток. Перед тем как вы увидите результаты расчетов примера, рассмотрим иллюстративную (а не рассчитанную на датасете) таблицу (табл. 11).

^{Таблица 11. Транзитивные доли верных ответов пяти заданий для первых трех попыток}

Задание с идентификатором t005 может считаться скучным: с первой попытки с ним справляется 97 % студентов. Второе задание (t006) является оптимальным по первой попытке, так как доля верных решений составляет 76 % и студентам не требуется больше двух попыток, чтобы с ним справиться. Третье задание (t007) относится к категории фрустрирующих с долей верных решений с первой попытки 42 %, но мы видим существенный прирост во второй и третьей попытках. Четвертое задание (t008) субоптимальное по первой попытке. Здесь важно отметить, что у некоторых попыток вместо доли верных ответов располагается обозначение NA (not available). Это происходит в трех случаях: либо студенты не пользовались соответствующей попыткой, либо в задании было ограничение на попытки, либо студенты переходили к следующему заданию, не добившись верного решения по текущему. Пятое задание (t009) фрустрирующее (доля верных решений с первой попытки равна 37 %), и, кроме того, от попытки к попытке происходит незначительный прирост в доле верных ответов. Если первые попытки мы можем интерпретировать по уже знакомой нам шкале, то как интерпретировать значения прироста доли верных ответов от попытки к попытке? Моя практика показывает, что задание, которое является фрустрирующим или субоптимальным, можно считать сбалансированным с точки зрения прироста, если прирост доли верных ответов от первой ко второй попытке составляет больше трети от предыдущей попытки. Например, если с первой попытки с заданием справились 45 % (соответственно условная треть составляет 15 %) и со второй – более 60 % студентов, такое задание можно считать сбалансированным. Настораживать должны фрустрирующие или субоптимальные задания, в которых прирост крайне мал, что может свидетельствовать о низком качестве задания (или обратной связи, встроенной в него). Такие задания негативно сказываются на учебном опыте студентов.

Таким образом, третье задание можно считать хотя и фрустрирующим при первом прохождении, но сбалансированным с точки зрения прироста от попытки к попытке. Тогда как пятое задание – низкого качества: оно и фрустрирующее по первой попытке, и проблемное по приросту от попытки к попытке.

Для заданий с несколькими попытками решений существует альтернативная метрика – расчет квартилей попыток. Для расчета нужно начать с определения эффективной попытки.

Эффективной попыткой считается та, с которой студент впервые дал верный ответ. Почему впервые? Дело в том, что в учебных продуктах после достижения верного ответа студенты могут из любопытства пробовать и другие ответы (которые могут результировать в логе как «неверно»). Поэтому именно эффективные попытки нужно использовать для расчета квартилей.

Для вычисления эффективной попытки продолжим работать с датасетом book_dataset_2a.tsv и применим следующий код:

В этом коде в знакомых нам корзинках «студент – задание» мы сначала упорядочиваем попытки по времени, используя команду arrange(timestamp), а затем с помощью команды filter(is_correct == 1) отбираем только верные ответы (ведь нас не интересуют попытки, не давшие верного решения) и после, используя команду slice(1), берем ту самую эффективную попытку (первую по порядку), где студент дал верный ответ.

Далее на основе полученных данных нужно распределить все эффективные попытки по корзинкам, соответствующим заданиям. Затем необходимо в каждой корзинке упорядочить эффективные попытки по возрастающей; далее разделить студентов на четыре равные группы (квартили) и взять значения числа попыток, находящиеся на границах этих групп, включая наименьшее и наибольшее. Всего получится пять значений. Например, если мы увидим 1, 3, 5, 6 и 12, это значит, что минимальное и максимальное количество попыток для решения этой задачи было 1 и 12. Четверть студентов решили задачу с 1–3 попыток, еще четверть – с 3–5, еще четверть – с 5–6, и, наконец, еще четверть – с 6–12. Мы также видим, что половина студентов, находящаяся в середине (второй и третий квартили вместе) решили задачу с 3–6 попыток. А квартиль студентов послабее и посильнее справились с задачкой соответственно с 6 попыток и более и 3 попыток и менее. При этом самый слабый и самый сильный студенты потратили на решение задачи соответственно 12 попыток и 1. Все это можно определить с помощью следующего кода:

В результате получим таблицу с названием qa_i, где qa – квартиль попытки (attempt quartile), а i – задание. Таблица содержит идентификатор задания (task_id), минимальное количество попыток, потребовавшихся на решение задания студентами (Min), границы первого, второго, и третьего квартилей (Q1, Q2, Q3 соответственно) и максимальное количество попыток, потребовавшихся на решение задания студентами (Max).

Интерпретация этой метрики проводится совместно с методистами. Насторожить должны задания, которые все решают с одной попытки (если только это задание не имеет мотивирующего назначения и специально создано максимально простым), и задания, которые существенная часть аудитории (например, половина) решает только с большого числа попыток: они могут демотивировать; возможно, для таких заданий необходимы помогающие механики или корректировка контента.

Представлять количество попыток можно средним значением. Оно рассчитывается также для эффективных попыток (код для определения показан выше). Наши данные (df) уже содержат только эффективные попытки, что также сделано выше. Расчет среднего значения для эффективных попыток производится с помощью кода

Этот код сначала группирует эффективные попытки по корзинкам, соответствующим отдельным заданиям (group_by(task_id)), а затем рассчитывает среднее значение в каждой корзинке (avga_i = round(mean(attempt), 0)). Индекс avga_i представляет собой avga как сокращение от среднего (average), кроме того, a – попытка (attempt); i – индекс, принятый для заданий.

В результате получается таблица, состоящая из двух столбцов, в которой каждому заданию (task_id) соответствует среднее значение попыток (avga_i), затраченных студентами для поиска верного решения.

Однако при явной компактности такая визуализация имеет и недостатки: мы не получаем общего представления о распределении попыток решения задания во всей выборке студентов, что возможно при использовании квартилей. Кроме того, важно помнить, что средние значения очень чувствительны к экстремальным значениям. Например, если к выборке из 99 студентов, которые решали задание с 1–2 попыток, присоединится студент, который решил его с 30-й попытки, среднее будет искажено. Эта проблема особенно актуальна для небольших групп (например, школьного класса).

Иными словами, метрика среднего расчета количества попыток лучше, чем отсутствие метрики учета попыток, но менее информативна, чем поквартильный подход.

Заметьте, что и транзитивная доля верных ответов, и квартили попыток, и среднее значение по попыткам – это различные способы отразить свойство задания, для решения которого студент может прибегнуть к попыткам. Всего одна дополнительная механика минимального учебного действия – попытка – существенно увеличивает количество необходимых расчетов, чтобы мы могли сформировать впечатление о трудности.

Теперь еще более усложним наш модельный кейс и представим, что студентам доступна (одна) подсказка как помогающая механика. В этом случае полезно подсчитать еще одну (психо)метрику на стороне контента – нагрузку подсказками, или нагрузку помогающими механиками. Для этого каждую пару студент – задача (вне зависимости от количества попыток) помечаем дополнительной переменной, отражающей факт использования подсказки студентом при решении задания (1 – подсказка использовалась, 0 – подсказка не использовалась). Данные при этом должны включать идентификатор студента (student_id), идентификатор задания (task_id), результат попытки (is_correct), переменную об использовании студентом подсказки для решения этого задания (hint) и метку времени (timestamp). Этот датасет повторяет тот, с которым мы работали, исследуя попытки, но в него добавлена переменная hint (сами подсказки изначально были доступны в продукте, но, чтобы не отвлекать ваше внимание от работы с попытками, эту переменную временно удалили из датасета).

Важно отметить, что нагрузка подсказками считается также для эффективных попыток. С кодом для расчета переменной попытки и последующего отбора эффективных попыток вы уже знакомы. Поэтому, скачав файл с данными book_dataset_2b.tsv по ссылке clck.ru/3Eiw4A, можете самостоятельно произвести эти операции[19].

Дальнейший расчет в этом пункте опирается на уже отобранные эффективные попытки.

Итак, мы определили эффективные попытки. Далее нагрузка задания подсказками рассчитывается как доля студентов, которые использовали подсказку при решении задания среди тех, кто ее использовал и не использовал. При этом в расчет мы берем только тех, кто решил задание верно (так как при определении эффективной попытки используем первую успешную попытку). Полученное значение нагрузки подсказками будет находиться в интервале (включительно) от 0 (когда никто из студентов не прибегал к подсказке при решении этого задания) до 1 (когда все студенты использовали подсказку при решении этого задания).

Метрику можно вычислить с помощью следующего кода:

В этом коде данные группируются по корзинкам, каждая из которых соответствует заданию (group_by(task_id)), а затем с помощью команды h_i = round(mean(hint), 2) в каждой корзинке рассчитывается среднее по переменной hint.

В результате получается таблица под названием h_i (h – подсказка (hint), i – задание (item)), состоящая из двух столбцов: первый с идентификатором задания, а второй с соответствующим значением нагрузки подсказками. Рассмотрим иллюстрационную (а не рассчитанную на датасете) таблицу (табл. 12).

^{Таблица 12. Нагрузка подсказками для трех заданий}

В первом задании (t010) нагрузка подсказками равна 0. Это значит, что ни один из студентов не пользовался подсказкой при его решении. Во втором задании (t011) нагрузка подсказками равна 0,53, что говорит о том, что немногим больше половины верных решений этого задания получены с использованием подсказки. Наконец, в третьем задании (t012) все студенты воспользовались подсказкой.

Эта метрика очень полезна в оптимизации задач. Например, если мы видим для каких-то задач значения 1, означающие, что ни один студент не справился с задачей без использования подсказки, значит, задание сформулировано недостаточно для выполнения без подсказки. Следовательно, стоит рассмотреть вариант перенесения подсказки в тело самого задания, а саму подсказку заменить на какую-то другую (работающую именно как подсказка).

В случае если подсказок в задании больше одной, нагрузку можно считать аналогичным образом для каждой помогающей механики. Но тогда полезно посчитать еще одну дополнительную метрику – среднюю нагрузку помогающими механиками. Для этого нужно сложить все нагрузки и разделить полученное число на количество доступных помогающих механик. В результате увидим, какими помогающими механиками и в каких долях пользуются студенты. А также поймем, насколько в среднем помогающие механики востребованы при решении каждого задания. Мой опыт подсказывает, что оптимальным будет равномерное распределение нагрузки по разным помогающим механикам, а среднее значение не должно быть очень большим (не должно быть близким к 1).

Основной сценарий практического использования базовых метрик контента (а фактически – разных способов подсчета трудности заданий) – это исследование, как работают эти задания. Здесь все достаточно просто. Нужно рассчитать релевантные метрики для заданий в вашем продукте, интерпретировать полученные значения с точки зрения представленных в этой главе референсов и принять решения по этим заданиям. Важно держать в голове один момент: представленные референсы являются информационными, и при принятии решения о задании важно не упускать контекст и здравый смысл. Например, если при проектировании курса планировалась трудная задача «со звездочкой» и результаты психометрического анализа показали, что она является фрустрирующей, мы «что планировали, то и получили», поэтому, возможно, менять ее и не следует. Если же задания планировались как простые, но получились фрустрирующими, стоит детально проанализировать ситуацию и, возможно, поработать над балансировкой таких заданий, допустим, с помощью добавления примера. В любом случае роль психометрики – сделать видимым то, что происходит между студентом и задачей, а решения необходимо принимать, учитывая широкий контекст.

Как видно, чем более сложным становится взаимодействие студента с заданием и чем больше элементов этого взаимодействия (потенциально) оказывают влияние на его результаты, тем больше становится метрик. При этом все метрики с разных сторон выражают свойство задания – его трудность. А чем больше метрик, тем больше требуется внимания и усилий, чтобы их проанализировать, интерпретировать и принять соответствующие решения. И даже если эти метрики имеют единую шкалу с понятной интерпретацией, это довольно громоздко в использовании. Я часто в своей практике встречал запрос от продактов, методистов и других коллег о разработке одной метрики. И у меня нашлось решение. Но об этом позднее.

А пока познакомимся с базовыми (психо)метриками студентов.

В этой главе мы познакомимся со вторым «атлетом» нашей метафоры – характеристиками студента. Мы помним, что чем сильнее студент, тем выше его шансы на верное решение. Но как отследить и оценить эту силу? Давайте разбираться.

По традиции начнем с самого простого случая: студент выполняет задания, и у него только одна попытка на задание. В таком случае можно считать, что у него есть некое свойство – сила, определяющая успех в решении. Здесь я намеренно избегаю использования слов «знание», «умение», «навык», знакомых нам по советской педагогической традиции; слова «компетенция», вошедшего в обиход в первую декаду 2000-х; слова «скилл», ставшего модным уже в современной индустрии EdTech, или слов «способность» и «подготовленность» из словаря психометриков. Мне хочется, чтобы приводимые в книге метрики остались в равной степени удаленными и приближенными к любой педагогической школе и традиции; кроме того, я стремлюсь воздерживаться от терминологических дебатов и сфокусироваться на метриках и их практической пользе. Под словом «сила» я понимаю не новое определение, а исключительно свойство студента, которое обусловливает его успех в выполнении заданий, в соответствии с нашей метафорой про борцов.

Итак, как выразить эту силу? Элементарным способом будет расчет доли верных ответов. Обратите внимание: доля верных ответов может выразить как характеристику задания (в чем мы убедились в предыдущей главе), так и свойство студента. Принцип подсчета доли верных ответов для студента аналогичен. Сначала распределяем результаты минимальных учебных действий по корзинкам, каждая из которых соответствует одному студенту. Затем в каждой корзинке считаем долю верных ответов (другими словами, делим количество верных ответов на сумму верных и неверных ответов, или, иначе, на общее число заданий, с которыми студент взаимодействовал). Таким образом, сила студента выражается через долю верных ответов: чем она больше, тем более сильным можно считать студента.

Для иллюстрации вернемся к простейшему датасету (book_dataset_1.tsv), в котором содержатся необходимые нам переменные student_id, task_id, is_correct, отражающие результат выполнения (is_correct) студентами (student_id) заданий (task_id). Напомню, что сначала следует подгрузить данные с помощью команды df <– read.table("book_dataset_1.tsv", header = TRUE, quote = "", sep = "\t"). Кроме того, с помощью команды library(dplyr) обратимся к уже установленному ранее пакету dplyr.

Для расчета доли верных ответов по студентам воспользуемся следующим кодом:

Он вам уже знаком по вычислению доли верных ответов к заданиям. Сначала с помощью команды group_by(student_id) распределяем ответы по корзинкам, каждая из которых соответствует студенту. Затем в каждой корзинке подсчитываем количество верных и неверных ответов, используя команды n_Correct = sum(is_correct == 1) и n_Incorrect = sum(is_correct == 0) соответственно. И наконец, подсчитываем долю верных ответов, применив команду p_j = round(n_Correct / (n_Correct + n_Incorrect), 2). Результирующая таблица с интересующей нас переменной доли верных ответов называется p_j (индексом j в психометрике принято обозначать студента). Она содержит два столбца: идентификатор студента и соответствующее этому студенту значение доли верных ответов.

Теперь рассмотрим иллюстрирующую таблицу (табл. 13).

^{Таблица 13. Доли верных ответов для четырех студентов}

Мы видим, что первый студент с идентификатором s001 справился с 97 % заданий; второй – с 80 % заданий; третий и четвертый – с 56 и 23 % заданий соответственно. Но какими будут референсные значения?

Границы референсных значений студента совпадают с границами референсных значений заданий (см. главу 4). Это стало важным открытием в моей практике. Другими словами, для студентов оптимальными результатами считаются те, при которых доля верных решений находится в диапазоне 75–95 %. Такие студенты достигают лучших учебных результатов: лучше сдают проектные работы и с наибольшей вероятностью завершают обучение. Студенты с долей верных решений в интервале 50–75 % находятся в субоптимальной категории. Тех, у кого доля верных решений ниже 50 %, мы считаем испытывающими фрустрирующий учебный опыт, а студентов с долей верных решений выше 95 % – скорее, скучающими.

Таким образом, студент s001 относится к категории скучающих, студент s002 – к категории студентов с оптимальными результатами; студенты s003 и s004 – к субоптимальной и категории фрустрированных студентов соответственно.

Однако эта метрика показывает нам общую характеристику студента на основе всех накопленных данных. В практических целях может быть интересно узнать, есть ли различия, например, между уроками или темами, которые студент изучал. В таком случае следует использовать модифицированный подход.

В этом случае мы собираем корзинки не по отдельным студентам, а по студентам и урокам: в одну корзинку попадают результаты выполнения конкретным студентом заданий из конкретного урока. Рассмотрим этот подход подробнее и с вычислениями.

Для расчета нам понадобятся переменные с идентификаторами уроков, тем и курсов. Напомню, в нашем текущем датасете они есть, в чем можно убедиться с помощью команды head(as.data.frame(df)). После воспользуемся следующим кодом для вычислений:

Команда group_by(student_id, lesson_id) формирует нужные нам корзинки в разрезе студент – урок. Дальнейшие вычисления вам уже знакомы. В результате получим таблицу под названием p_jl, где l – урок. Она состоит из трех столбцов: идентификатор студента, идентификатор урока и соответствующая этой паре доля верных решений (переменная p_jl). Таким образом, мы сможем сравнивать значения p_jl от урока к уроку (или от темы к теме, или любой другой агрегирующей сущности, которая нас интересует).

Интерпретация значений переменной p_jl аналогична описанной. Студентов в каждом уроке можно соотнести с категорией: оптимальные, фрустрированные, субоптимальные или скучающие. Интерпретируя эти значения, важно понимать и помнить, что высокие (или низкие) значения доли верных ответов могут говорить не только о том, что студент более (или менее) сильный, но и о том, что задания были менее (или более) трудными.

Теперь по традиции расширим контекст и предположим, что студентам при решении заданий доступны несколько попыток. Как и в ситуации с контентом, можем рассчитать характеристику студента, его силу, самым простым способом – через долю верных ответов по первой попытке. Давайте сделаем это. Вновь обратимся к датасету (book_dataset_2a.tsv из главы 4), в котором взаимодействие студентов с заданиями размечено меткой времени[23]. По уже знакомой нам схеме рассчитаем переменную попытки для этого датасета с помощью команды df <– df %>% group_by(student_id, task_id) %>% arrange(timestamp) %>% mutate(attempt = row_number()). Далее воспользуемся следующим кодом, чтобы рассчитать долю верных ответов по первой попытке для каждого студента нашего учебного продукта:

Логика этого кода вам должна быть известна, но давайте еще раз пройдемся по основным командам. Сначала отбираем только первые попытки filter(attempt == 1), так как нас интересует доля верных ответов студента по первой попытке. Далее формируем корзинки по студентам group_by(student_id) и в каждой считаем число верных n_Correct = sum(is_correct == 1) и неверных ответов n_Incorrect = sum(is_correct == 0) соответственно, чтобы затем применить эти значения в формуле для расчета доли верных ответов в каждой корзинке: p_j1 = round(n_Correct / (n_Correct + n_Incorrect), 2).

Выразить силу студента можно также через квартили попыток. Для этого, как мы помним, нужно определить эффективную попытку, затем сформировать корзинки по студентам и упорядоченно расположить все задания, которые решал этот студент, по количеству эффективных попыток от наименьшего к наибольшему. Далее необходимо разделить эти задания на четыре равные группы – квартили и взять пять значений. Первое и последнее значения покажут наименьшее и наибольшее число попыток, затраченное студентом на решение заданий; второе, третье и четвертое – границы по количеству попыток для 25, 50 и 75 % заданий, решенных студентом.

В вычислительном коде этот подход выглядит таким образом. На данных из предыдущего пункта, где уже рассчитана переменная попыток (attempt), отберем эффективные попытки (это вам знакомо)[25] и далее применим следующий код:

В нем группируем данные по корзинкам, относящимся к отдельным студентам. Затем для каждой корзинки вычисляем квартили, как указано ранее.

В результате получим таблицу с названием qa_j, где qa – квартиль (quartile) попыток (attempts); j – общепринятый индекс для обозначения студентов. Таблица содержит идентификатор студента (student_id); минимальное количество попыток, которые потребовались студенту на решение заданий (Min); границы первого, второго и третьего квартилей (Q1, Q2, Q3 соответственно) и максимальное количество попыток, потребовавшихся студенту на решение заданий (Max).

Код вычисляет квартили попыток как накопительную метрику по состоянию «сейчас».

Эту метрику можно представить и в разрезе отдельных тем. В этом случае код будет выглядеть следующим образом:

Мы видим, что теперь корзинки собираются по студенту и по теме (group_by(student_id, topic_id)). При этом остальная часть этого кода с вычислением собственно квартилей вам уже хорошо знакома.

Кроме того, мы можем рассчитывать оперативное значение, например, для «последних х решенных заданий». Такой подход позволит отслеживать динамику студента без привязки к контентным сущностям типа темы или урока. Попробуем сделать такой расчет:

Обратите внимание: в этом коде появились две новые команды. Первая arrange(desc(timestamp)) упорядочивает эффективные попытки студента по убыванию метки времени. А вторая slice_head(n = 20) отбирает желаемое количество решенных заданий (в данном случае 20). В результате получаем 20 последних решений студента (или меньше, если он еще не решил 20 заданий). Для этих данных рассчитываются квартили попыток. Структура результирующей таблицы останется прежней и уже знакомой вам.

Силу студента в отношении попыток можно выразить и средним значением. Здесь расчет аналогичен расчету для контента. Имея данные по эффективным попыткам, воспользуемся следующим вычислительным кодом:

Итоговая таблица содержит два столбца: с идентификатором студента и соответствующим ему средним значением эффективных попыток.

Для вычисления в разрезе тем или уроков код необходимо слегка изменить, добавив разбиение на более мелкие корзинки «студент – урок»:

Продолжим разбираться с характеристиками студента, но в новых обстоятельствах, когда доступны не только попытки, но и помогающие механики, например подсказки. Как и в случае с контентом, можно рассчитать для студента нагрузку подсказками. Эта метрика отражает, насколько часто при решении заданий он полагается на подсказки.

Как и при вычислении нагрузки подсказками для контента, каждую пару «студент – задание» необходимо пометить дополнительной переменной, фиксирующей факт использования студентом подсказки при решении задания, где 1 – подсказка использовалась, а 0 – подсказка не использовалась. Затем для каждого студента нужно рассчитать долю случаев, в которых подсказка использовалась.

Значение нагрузки подсказками будет находиться в интервале (включительно) от 0, когда студент совсем не использовал подсказок, до 1, когда он применял подсказку при решении каждой задачи. Эта метрика позволяет идентифицировать студентов, которым нужна дополнительная поддержка. Например, если у студента одновременно низкая доля верных ответов и высокая, если не стопроцентная, нагрузка подсказками, ему точно необходима и помощь автоматизированных инструментов, и человеческая поддержка.

Снова обратимся к файлу book_dataset_2b.tsv. Откроем его, вычислим переменную попытки и отберем эффективные попытки[28]. Рассчитать нагрузку подсказками студента нам позволит следующий код:

Он устроен просто. Сначала сгруппируем данные по корзинкам «студент» (student_id). В каждой корзинке вычисляем среднее значение по переменной «использование подсказок» (hint). В результате получим таблицу, где показан фрагмент выгрузки расчетов нагрузки подсказками по студентам (скрин. 4).

^{Скриншот 4}

И снова напомню, что нагрузку студента подсказками можно рассчитывать не только в целом по пройденному материалу, но и для отдельных тем или уроков:

На платформе могут быть доступны и другие помогающие механики. Нагрузка по ним рассчитывается аналогично. Но в таком случае, как и для контента, полезно вычислить еще одну дополнительную метрику – среднюю нагрузку помогающими механиками для студентов.

Основным сценарием практического использования базовых метрик студента является исследование, как учится студент. Это поможет выявить тех, кто испытывает трудности и кому требуется поддержка в виде как дополнительных материалов, так и, возможно, помощи человека. Кто попадет в эту группу? Это студенты, имеющие низкую долю верных решений, использующие большее число попыток и чаще других пользующиеся подсказками. И еще обращаю внимание: задача базовых метрик – сделать взаимодействие студентов и задач видимым, указать на места, требующие более детального рассмотрения.

И снова, как и в случае контента, мы получаем ситуацию, в которой чем сложнее устроено обучение на платформе, тем больше метрик необходимо отслеживать и тем сложнее принимать решения на их основе. Например, может встать вопрос, что делать, если у нас не одна, а несколько попыток решения, но есть необходимость рассчитать силу (долю верно решенных студентом ответов). Считать эту силу по первым попыткам, а потом пытаться качественно интерпретировать результаты с учетом индекса всех попыток? Это сложно и трудоемко. Очевидна необходимость создания единой метрики, интегрирующей весь учебный опыт при этом простой для интерпретации.

Об этой единой метрике мы поговорим в следующих главах книги.

В этой главе мы будем опираться на описанный ранее принцип универсального подробного логирования. Мы можем приступить к конструированию и расчету супербалла. Почему супербалла? Потому что, как вы увидите далее, этот балл включает в себя максимум информации, который можно выжать из лога минимального учебного действия, и при этом остается простым в понимании и легко интерпретируется.

При конструировании супербалла мы решаем две задачи:

1) объединить максимум доступной информации о минимальном учебном действии в одном числе;

2) обеспечить интерпретируемость этого числа.

В общем виде композиция супербалла представлена следующими компонентами:

1) результатом минимального учебного действия;

2) корректировкой на эффективную попытку;

3) корректировкой на использование подсказки;

4) другими возможными корректировками.

Начнем с результата минимального учебного действия. И здесь сразу будем использовать универсальный подробный лог, потому что, как мы уже рассказали, он записывает результат максимально подробно (максимально возможно подробно), а мы не теряем информацию при конвертации в дихотомическую логику. Это первый шаг в решении первой задачи (объединить максимум доступной информации о минимальном учебном действии в одном числе). При использовании универсального подробного логирования результат учебного действия представляет собой выбранное студентом количество верных опций, суммированное с количеством неверных опций, не выбранных студентом, и деленное на общее количество опций задания. Другими словами, мы рассчитываем долю всего правильного (верного или целевого), что сделал студент в этом задании, относительно всего того, что вообще есть в этом задании. Что значит «все правильное»? Это значит выбрать все правильное, что было правильным с точки зрения задания, и одновременно не выбрать неправильное с точки зрения задания. Рассмотрим это на примерах.

В задании пять вариантов ответа, три из которых верные и два неверные. Студентам необходимо выбрать все верные варианты ответа. Первый студент выбрал три верных варианта и не отметил неверные – таким образом, полностью верно решил задание. Каким будет его результат? (3 + 2–0) / (3 + 2) = 1. Полный балл за полностью верное решение.

Теперь представим другую ситуацию: второй студент выбрал две верные опции и одну неверную. Получается, он решил задание частично верно. Каким будет его результат? (3 + 2–1) / (3 + 2) = 4 / 5. Частично верному решению – часть балла.

Третий студент выбрал сразу все варианты ответа: и верные, и неверные. Каким будет результат? (3 + 2–2) / (3 + 2) = 3 / 5. Тоже часть балла: хотя студент выбрал все правильные варианты ответа, его балл был скорректирован на выбранные неправильные варианты. Четвертый студент не отметил ни одного верного варианта, но отметил все неверные. В этом случае результат будет (0 + 2) / (3 + 2) = 0 – ноль баллов за полностью неверное выполнение.

Такой подход к расчету результата учебного действия отлично сочетается с универсальным подробным логированием. Потому что компоненты Incorrect учитываются только тогда, когда в соответствующих столбцах присутствуют значения. А когда столбцы не заполнены (а мы помним, что столбцы содержат NA, если в заданиях предусмотрен только один верный ответ и не предусмотрены неверные варианты), эти компоненты «выключаются» из подсчета.

Так, если в задании только один верный вариант ответа, мы получим только два возможных результата учебного действия: 1 – за выбор верного варианта (1/1) ответа, 0 – за выбор неверного (0/1). Если же задача представлена действиями, которые нужно выполнить, и при этом неверных действий нет, то вычисление результата учебного действия представляет собой подсчет количества выполненных действий из общего числа этих действий в задаче, например 1/3, 2/3 и 3/3 для задачи с тремя действиями.

Рассчитаем результат по данным. Датасет book_dataset_3.tsv можно скачать по ссылке clck.ru/3Eiw7W и подгрузить с помощью уже знакомой команды df <– read.table("book_dataset_3.tsv", header = TRUE, quote = "", sep = "\t"). Он уже содержит переменные possible_correct, possible_incorrect, selected_correct и selected_incorrect для каждой попытки студента student_id выполнить задание task_id.

Однако прежде чем перейти к вычислению результата, необходимо обозначить попытки на основании метки времени с помощью уже знакомого нам кода[30]. Переменная с номером попытки понадобится несколько позднее в этой главе. Теперь мы можем воспользоваться кодом для вычисления результата учебного действия. Вот он:

Этот код работает построчно (на это указывает команда rowwise()), а это значит, что для каждой попытки студента j решить задачу i вычисляется новая переменная result, равная количеству верных опций, выбранных студентом, суммированному с количеством неверных опций, не выбранных студентом, и деленному на общее количество опций задания.

Поскольку в данных результат рассчитывается для каждой попытки, нужно отобрать эффективный результат, которым является максимальный результат, полученный студентом в этом задании. Отобрать строки с эффективным результатом можно с помощью такого кода:

Мы снова видим знакомые нам корзинки «студент – задание» (group_by(student_id, task_id)), в которых находится максимальный полученный результат (filter(result == max(result))) для каждой пары, при этом выбирается первый максимальный результат, что обеспечивается упорядочиванием по времени arrange(timestamp) и командой slice(1).

Таким образом, полученный результат учебного действия отражает долю верных ответов в решении студента, которая получена органическим способом, без применения каких-либо конвертаций, и, соответственно, это значение легко и однозначно интерпретируется. Кроме того, этот подход максимально работает на студента, так как отбирает именно эффективную попытку, максимизирующую результат (а не первую или последнюю, что показало бы искаженную оценку результата).

Конструирование супербалла продолжается вычислением корректировки на использование попыток (если они были доступны в продукте). Это важно сделать, потому что один и тот же результат, например ½, но полученный с первой и с третьей попытки, – это разные результаты. Второму студенту потребовалось на два шага больше, чтобы получить тот же результат, что и первому. Супербалл должен учитывать эти различия.

Процесс корректировки результата учебного действия на использование попытки представляет собой уменьшение балла пропорционально попытке, при которой этот эффективный результат был достигнут. Чем больше порядковый номер попытки, с которой студент получил эффективный результат, тем меньший балл в итоге корректировки он имеет. При этом у процесса корректировки есть важный нюанс. Он заключается в том, что уменьшение балла за использование попытки происходит пропорционально не номеру попытки, а уровню, к которому эффективная попытка относится: чем выше этот уровень (а не просто номер попытки), тем меньший балл получит студент по итогам применения корректировки на попытку. Эти уровни рассчитываются эмпирически и зависят от продукта, но на основании анализа десятков миллионов строк логов мы сформулировали относительно универсальное разбиение на пять уровней попыток. Первая попытка является самой результативной, и, если студент нашел эффективное решение именно с первой попытки, он должен получить максимальный балл, что логично. Далее распределение попыток происходит следующим образом:

• 2–3-я попытки – второй уровень,

• 4–6-я попытки – третий уровень,

• 7–10-я попытки – четвертый уровень,

• 11-я и последующие попытки – пятый уровень.

Вычислительный код для конвертации попыток, при которых получен эффективный результат, в уровни попыток будет выглядеть следующим образом:

Этот код читается следующим образом:

• если попытка, соответствующая эффективному результату, 1, – уровень 1 ifelse(df$attempt == 1, 1;

• если попытка, соответствующая эффективному результату, 2 или 3, – уровень 2 ifelse(df$attempt %in% c(2, 3), 2;

• если попытки 4–6 – уровень 3 ifelse(df$attempt %in% c(4, 5, 6), 3;

• если попытки 7–10 – уровень 4 ifelse(df$attempt %in% c(7, 8, 9, 10), 4;

• для всех остальных попыток – уровень 5.

Вычислительный код для расчета скорректированного на использование попытки балла выглядит так:

df$scoreij <– df$result * (1–0.2 * (df$tier – 1))

Для того чтобы лучше его понять, рассмотрим иллюстрирующий пример.

Предположим, что студент i решил задание j верно (эффективный результат равен 1) с первой попытки. В таком случае его балл 1 · (1 − 0,2 · (1 − 1)) = 1 будет полным (равен 1).

Если студент получил эффективный результат со второй или третьей попытки, что соотносится с уровнем 2, то его балл равен 1 · (1 − 0,2 · (2 − 1)) = 0,8 – таким образом, он получит на 20 % меньше полного балла.

В случае если студент решил задание с 4–6-й попытки, что сопоставимо с уровнем 3, его балл равен 1 · (1 − 0,2 · (3 − 1)) = 0,6, что соответствует 40 %-ному снижению.

Если же студент справился с заданием с 7–10-й попытки, что соответствует уровню 4, его балл получится равным 1 · (1 − 0,2 · (4 − 1)) = 0,4; снижение составит 60 %.

Наконец, при количестве попыток 11 и выше, что соотносится с уровнем 5, студент получит 1 · (1 − 0,2 · (5 − 1)) = 0,2 балла; снижение составит 80 %.

Здесь важно обратить внимание на один нюанс: даже при условии решения задания с максимально возможной попытки студент получает небольшой балл. Таким образом, успешное решение вознаграждается в любом случае – здесь мы снова стоим на стороне наших студентов. Мне встречались разные способы вознаграждения студентов за верные решения, но в подавляющем большинстве это более жесткие альтернативы от «все (за верное решение при первой попытке) или ничего» до вознаграждения сотой долей балла за верные решения с большого количества попыток. Однако мой опыт исследования оптимальных с точки зрения восприятия студентами форм начисления баллов показывает, что снижение на 80–90 % для максимальной попытки оставляет ощущение справедливости, потому что различает верный и неверный ответы в балле, но при этом повышает ценность самой попытки (например, я слышал такие аргументы от студентов: «Надо постараться затратить меньше попыток»»; «Важно не пытаться “натыкать” ответ»; «При первой неудаче нужно понять причину, прежде чем переходить к следующей попытке»).

Наконец, конструирование супербалла завершается с вычислением еще одной корректировки – на использование подсказок (если они были доступны в продукте). Предположим, что в каждом задании в продукте есть подсказка, к которой студент может обратиться по желанию. В таком случае важно отразить, была ли использована подсказка в балле, потому что одинаковые результаты, полученные с подсказкой и без нее, – это все же разные результаты.

Вычислительный код, учитывающий и корректировку на попытку, и корректировку на использование подсказки, выглядит следующим образом:

df$scoreij <– df$result * (1–0.2 * (df$tier – 1)) * (1–0.4 * df$hint)

Мы видим, что добавился компонент (1–0.4 * df$hint). Он показывает, что если студент использовал подсказку, то его балл будет скорректирован на 40 % в меньшую сторону. Значение в 40 % установлено нами эмпирически на основе регрессионного анализа. Это значит, что этот коэффициент может быть иным для других продуктов (его следует вычислять дополнительно), однако для целей этой книги, а именно для «первых шагов» в психометрике, мы можем считать его отправной точкой, подтвержденной эмпирически.

Таким образом, если мы вернемся к нашему примеру, то получим: студент i, выполнивший задание j верно с первой попытки, но с использованием подсказки, получит не 1 балл, а 0,6. Для уровней 2, 3, 4 и 5 эти значения составят 0,48; 0,36; 0,24 и 0,12 соответственно.

Итак, чем более сложным является взаимодействие студента с задачей и чем больше элементов этого взаимодействия (потенциально) оказывают эффект на его результаты, тем больше становится метрик. А чем больше метрик, тем больше требуется внимания и усилий, чтобы их проанализировать, интерпретировать и принять соответствующие решения. И даже если эти метрики имеют единую шкалу (в нашем случае от 0 до 1) с понятной интерпретацией, это довольно громоздко в использовании: глаза разбегаются от количества точек фокусировки. В своей практике я часто встречал запрос от продактов, методистов и других коллег о разработке одной метрики. А в силу того, что я использую подход, центрированный на пользователе, а не на метрике (какой бы классной она ни была), я разработал такую единую метрику – метрику посильности. Это название отлично описывает ее суть: ведь в одном числе заключены и трудность, и индекс попытки, и нагрузка помогающими механиками. Мы также можем включить другие компоненты, отражающие реальный учебный опыт студента. Познакомимся с этой метрикой.

На базовом уровне метрика посильности рассчитывается для каждой задачи. В упрощенном варианте расчета (я специально разработал этот вариант, чтобы как можно большее число EdTech могли ею воспользоваться, тогда как в Яндекс Практикуме применяется более сложное и ресурсоемкое решение) этой метрики мы должны отобрать супербаллы всех студентов по этой задаче и вычислить по ним среднее значение.

В вычислительном коде этот расчет реализуется так:

Все просто, не правда ли? В этом коде мы сначала собираем корзинки с супербаллами для каждого задания group_by(task_id), а потом считаем средний супербалл в каждой корзинке cf_i = round(mean(scoreij), 2). Этот код надо применить к данным (df), содержащим значения супербаллов, которые мы рассчитали в предыдущей главе. Другими словами, этот код последовательно продолжает код предыдущей главы. В результате получим таблицу cf_i, состоящую из двух столбцов: первый – с идентификатором задания, а второй – с его посильностью (cf_i, где cf – content feasibility (то есть посильность) и уже знакомый нам индекс i, которым в психометрике принято обозначать задания). Под посильностью понимаются все те компоненты, которые мы включили в подсчет супербалла: и количество попыток, и использование подсказок и различных помогающих механик. Посильность может принимать значения от 0 до 1, где 0 означает, что задача совсем непосильна для студентов (ни один из них с ней не справился). А 1 указывает, что задача максимально посильная, так как все студенты с ней справились с первой попытки и без помогающих механик. Теперь познакомимся с результирующей таблицей (первые шесть строк которой вы можете получить с помощью команды head(as.data.frame(cf_i)), скрин. 5).

^{Скриншот 5}

Здесь важно поговорить о референсных значениях. Они устанавливались эмпирически, а их «работоспособность» (валидность) проверялась в ходе исследований, о которых пойдет речь далее. Из практики, основанной на десятках тысяч расчетов, мы установили следующие границы посильности заданий (табл. 14).

^{Таблица 14. Границы посильности заданий}

Таким образом, задание из пятой строки является фрустрирующим; из четвертой – субоптимальным; задания из первой и третьей строк оптимальные; задание из второй строки находится на границе оптимальных и скучных, а из шестой – скучное.

Насколько мы можем этим значениям доверять? Другими словами, не тычем ли пальцем в небо, опираясь на метрику и интерпретируя ее результаты? Не является ли полученное значение случайным и ничего общего с реальностью не имеющим?

Для ответа на этот вопрос необходимо рассчитать стандартную ошибку. Для задач стандартная ошибка определяется на основании отклонений (разностей) супербаллов студентов от значения посильности и объема накопленных по этой задаче данных. И в коде реализуется так:

В итоге получаем таблицу, где каждому заданию соответствует стандартная ошибка для посильности этого задания (скрин. 6).

^{Скриншот 6}

В качестве ориентира можем считать посильность заданий валидной, если ее стандартная ошибка меньше 0,05–0,075. Превышающие значения могут свидетельствовать о том, что для этого задания пока не набрана достаточная выборка супербаллов, поэтому оценка посильности имеет большую ошибку. Но если выборка составляет 50 супербаллов и более, а ошибка все еще высокая, это может говорить о том, что задание в целом некачественное, что приводит к высокой волатильности супербаллов по этому заданию, и поэтому стандартная ошибка высока. Объем выборки (50) представлен исходя из нашего опыта, но можно вывести такую рекомендацию: если по другим заданиям этого урока или темы со сравнимой выборкой уже получены достаточно низкие значения стандартной ошибки, а по конкретному заданию все еще нет, то высока вероятность того, что причина именно в задании.

Так мы можем сделать вывод, что для второго задания к интерпретациям полученного значения посильности приступать пока рано, так как стандартная ошибка (все еще) высока и составляет 0,10 при пороговой в 0,075 и ниже.

Вы помните, что в разработке я всегда ориентируюсь на пользователя, а не на метрику? Мои коллеги пожаловались, что для заключения по заданию им необходимо посмотреть на два значения: посильности и стандартной ошибки, сравнить каждое из них с соответствующими им референсными значениями, затем скомбинировать полученные интерпретации в одну и только тогда принять решение. Подумав, как им помочь, я предложил объединить расчет обеих метрик и включить в код маркировку референсных категорий, вот так:

В результате получаем вот такую удобную таблицу (скрин. 7), где все собрано. Мы видим и числовые значения посильности и стандартной ошибки, и их интерпретации (в предпоследнем и последнем столбцах). Так, согласитесь, мы быстро и легко сориентируемся, к каким категориям посильности относятся задания и можем ли мы доверять этим категориям применительно к каждому заданию. Удобно?

^{Скриншот 7}

Важная особенность посильности заключается в том, что метрика может быть рассчитана для любого уровня в иерархии учебного контента. Например, если задачи вложены в уроки, а уроки вложены в темы, помимо посильности задач можно определить посильность и уроков, и тем. Принцип подсчета заключается в том, что мы отбираем все супербаллы, полученные студентами внутри этого урока или темы, и затем считаем среднее этих супербаллов. Код, интегрирующий расчет посильности, стандартной ошибки и референсных категорий для соответствующих расчетов по урокам, будет таким:

А для тем – таким:

Как я уже упоминал, интерпретация посильности едина для любого уровня контента. Это, пожалуй, ключевая сила данной метрики.

Важно отметить, что посильность можно считать и для других агрегирующих переменных (необязательно для иерархических вложенностей типа структуры курса). Например, в нашем датасете есть переменная task_type, которая показывает тип задания – квиз, тренажер или код-сниппет – с помощью вот такого кода:

Мы увидим, что в целом квизы и задачи в тренажере находятся в оптимальной категории посильности, тогда как сниппеты, скорее, скучные (скрин. 8).

^{Скриншот 8}

Кроме того, можно скомбинировать группирующие категории и посмотреть, как различаются типы заданий в разных курсах. Для этого строку в приведенном коде необходимо заменить с group_by(task_type) на group_by(task_type, course_id). В результате получим такое распределение оценок (скрин. 9):

^{Скриншот 9}

Очевидно, что квизы использовались в трех курсах, тренажер – в двух, а код-сниппеты – в одном. Так мы можем оценить посильность этих инструментов в пределах одного курса и в разных курсах.

Таким образом, код для вычисления посильности работает как конструктор: мы можем сконструировать аналитическое решение (почти) для любой комбинации описывающих переменных.

Здесь я хотел бы пояснить, почему использую слово «супер» в названии посильности «суперметрика». Я вдохновился определением «супераппа» (или суперприложения) – такого мобильного приложения, в котором собран и магазин, и такси, и банк, и многое другое, что очень удобно для пользователя. Метрика посильности также включает в себя все логируемые взаимодействия студента с заданием (это и доля верности, и номер попытки, и использование подсказки); она применима ко всем уровням контента для задач, уроков, тем; наконец, она работает как конструктор: мы можем, например, посмотреть посильность заданий конкретного типа в интересующей нас теме. И главное, мы имеем одну шкалу метрики (от 0 до 1 включительно) с единой интерпретацией, включающей четыре категории. Это очень удобно для пользователей – и это супер, не так ли?

Как использовать метрику посильности? Основной сценарий касается ее применения для улучшения контента. Когда я только пришел в Практикум, улучшение контента опиралось на фидбэк от студентов. Команда контента регулярно получала обратную связь и улучшала то, на что указывали. В целом это оправданная стратегия. Обратная связь со студентами – ценный источник информации. При этом стратегия имеет ряд недостатков.

Во-первых, далеко не все студенты предоставляют обратную связь, даже если сталкиваются с серьезной проблемой в контенте. Во-вторых, они часто приводят довольно общие аргументы – например, «мне было сложно», – на основе которых трудно локализовать проблему (что конкретно и в каком месте вызвало эти сложности). В-третьих, потребуется много времени, чтобы собрать достаточное количество данных, указывающее на необходимость конкретного улучшения (а за это время элемент контента доставит студентам еще много неудобств). При этом, если править все при первом упоминании в обратной связи, не хватит никаких ресурсов (да это и совершенно не нужно).

С метрикой посильности указанные проблемы смягчаются. У нас есть данные от каждого студента, взаимодействующего с каждым элементом контента. Мы имеем максимально возможную локализацию проблемы до конкретного задания. Наконец, получаем и обрабатываем данные в режиме реального времени, соответственно, можем оперативно планировать и производить улучшения.

Метрика посильности становится ценным помощником при планировании работы команды улучшений. Например, можно отбирать то, что следует улучшить, исходя из любого удобного горизонта планирования – от «на день вперед» до «на квартал/год вперед». Кроме того, метрика помогает отслеживать эффективность произведенных улучшений, так как мы всегда имеем возможность подсчитать посильность до и после интервенций или улучшений и сравнить результаты. Другими словами, эта метрика стала ценным инструментом для методистов и продактов.

Метрика используется в разных режимах. Первый – каскадный режим. Мы двигаемся вглубь от самой крупной иерархической единицы контента к самой минимальной. Например, если профессия состоит из курсов, курсы из тем, темы из уроков, а уроки из заданий, мы начинаем с общего взгляда на профессию. Посильность профессии – одно число, взглянув на которое и воспользовавшись референсным значением, можно сказать, какая она, эта профессия – frustrating, suboptimal, optimal или boring? Чаще всего (в 2/3 случаев из моей практики) мы получаем значение в интервале suboptimal, подсказывающее, что балансировка контента профессии по посильности все еще требуется.

Далее следует рассмотреть посильности курсов внутри этой профессии. На что важно обратить внимание? Первое – оценить посильность каждого курса по отдельности. Второе – убедиться, что нет резких скачков (преимущественно вниз) посильности от курса к курсу. Оба действия помогут локализовать возможные проблемы с посильностью на уровне курсов. Говоря о приоритетах, первым делом нужно браться за курсы, резко выбивающиеся из среднего уровня посильности. Затем сфокусироваться на общем выведении посильности всех курсов до оптимального уровня. Но как это сделать?

Стоит последовательно спускаться на уровень тем и уровень уроков, следуя той же логике. Так мы более четко локализуем проблему. Выделив самые проблемные уроки, следует проанализировать минимальные единицы контента – задачи, намечая план улучшения каждой, которая выбивается из оптимальной категории.

При этом важно помнить, что метрика посильности является именно помощником, а не руководителем условного методиста. Она подсказывает и высвечивает, но не декларирует наличие проблемы. Я всегда рекомендую сравнивать полученное в метрике с тем, что планировалось сделать. Например, если вы при проектировании предполагали задачку «со звездочкой» (повышенной трудности) и на данных получили задачу с невысокой посильностью (субоптимальной категории или даже фрустрирующей), возможно, не нужно вносить изменения. Или если вы планировали простенькую задачку на разгрузку и в результате получили задачу, с которой с первой попытки справляется 100 % студентов, – возможно, вам следует порадоваться, что реальное совпало с планируемым. Но, конечно, чаще всего реальное и желаемое не совпадают, и метрика посильности отлично высвечивает эти моменты.

Каскадный подход требует больших усилий для осмысления. Он является основой для системной работы по улучшению контента. Но есть и альтернатива – это точечный поиск проблем в контенте (при необходимости – дальнейшее движение снизу вверх по иерархии). При этом подходе мы начинаем с уровня задач и последовательно улучшаем каждую. Моя практика показывает, что такой подход более уместен для небольших образовательных продуктов и продуктов с минимальной иерархией контента. Кроме того, когда мы только начинаем проект, например с помощью бета-когорты, именно точечный подход принесет больше пользы: правим в режиме онлайн то, что требует улучшений.

Кроме того, в работе с посильностью могут помочь и детализированные метрики, например нагрузка подсказками. Так, если мы видим, что в каких-то задачах или уроках ни один студент не дает правильного ответа без подсказки, это явный сигнал, что подсказку нужно внести в основную часть контента и дополнительно проработать его аспекты по содержанию, связанные с этой подсказкой. Другими словами, если ни один из учащихся не осваивает прыжок в высоту без шеста, возможно, в этом упражнении следует включить шест в основной, а не в опциональный инвентарь.

Мы убедились, что растущее количество метрик, требующих внимания и усилий, чтобы принять решение, – это проблема, касающаяся и студента. Соответственно, как и для контента, здесь тоже актуальна суперметрика – успеваемость. Она объединяет все логируемое взаимодействие студента с учебным продуктом: верность решений, количество попыток, использование подсказок и помогающих механик вместе с понятной интерпретацией. Давайте познакомимся с этой метрикой.

По своей сути метрика успеваемости близка метрике посильности: она также основана на обобщении супербаллов. Главное различие этих метрик заключается в том, что при расчете посильности мы обобщаем супербалл факторов, которые относятся к контенту (отдельной задачи, урока, темы), а при расчете успеваемости используем средние характеристики, имеющие отношение к студенту.

В общем виде успеваемость считается как средний супербалл студента, а вычислительный код, в котором мы сразу интегрировали и подсчет успеваемости, и ошибки, и выведение референсных категорий (как в главе о посильности), выглядит так:

Принцип расчета заключается в вычислении среднего значения всех имеющихся на текущий момент супербаллов данного студента. Другими словами, мы должны отобрать все задания, которые решал студент к настоящему времени, и подсчитать среднее значение супербаллов по этим заданиям. В результате применения указанного кода получим простую таблицу (первые шесть строк которой можно посмотреть, используя знакомую команду head(as.data.frame(lp_se_j)) (скрин. 10).

^{Скриншот 10}

Каждому студенту соответствует значение успеваемости и соответствующее ей значение стандартной ошибки. Обе метрики сопровождаются референсными категориями в предпоследнем и последнем столбцах). Метрика может принимать значения в интервале от 0 до 1 включительно, где 0 означает, что студент не справился ни с одной задачей, а близкие к нулю цифры – что студент решал подавляющее большинство заданий с большим количеством попыток и с использованием всех имеющихся помогающих механик. Важно заметить, что, поскольку при расчете супербалла мы заложили дифференциацию тех студентов, которые совсем не справились с задачей, и тех, кто справился, но с большого числа попыток и прибегал к подсказкам (используя потолочное значение корректировки на попытку), чистый 0 будет соответствовать только случаям, когда студент не справился ни с одной из предложенных задач. В свою очередь, 1 соответствует случаям, когда студент каждую задачу на текущий момент решил с первой попытки без помогающих механик. Такая успеваемость называется текущей.

Метрики успеваемости и посильности имеют единую интерпретацию (табл. 15).

^{Таблица 15. Референсные интервалы и интерпретация успеваемости}

На практике нас может интересовать не только текущее значение успеваемости, но и отдельные показатели успеваемости по урокам или темам (или другим укрупняющим сущностям контента). Если нужно рассчитать успеваемость студента по теме, мы отбираем все его супербаллы по этой теме и находим среднее значение. Делается это с помощью кода, который, как и предыдущий, уже включает расчет и стандартной ошибки, и референсных категорий:

Результирующая таблица будет иметь следующий вид (скрин. 11):

^{Скриншот 11}

Мы видим, что теперь успеваемость (третий столбец) приведена по каждой теме (второй столбец), пройденной студентом (первый столбец). В разрезе тем подсчитаны и стандартные ошибки.

Аналогичный подсчет производится и для урока, и для курса, и для любых других иерархий. Важен еще один момент: мы можем посчитать успеваемость по урокам или темам двумя способами: изолированным и накопительным. Изолированный способ я описал ранее: отбираем супербаллы студента по конкретному уроку (теме или курсу) и делаем подсчет. В изолированном виде метрика показывает, насколько легким или трудным оказался для него именно этот урок. Но на практике важно отслеживать успеваемость и в динамике: видеть, падает ли она, растет или сохраняется от урока к уроку и от темы к теме. Для этого мы считаем накопительную успеваемость.

Для того чтобы рассчитать накопительную успеваемость по темам, нужно сделать следующее. Для первой темы принцип расчета не меняется: отбираем супербаллы этого студента по данной теме и находим среднее значение. А вот для второй и последующих тем (или уроков) принцип расчета иной. Для подсчета по второй теме нужно отобрать супербаллы этого студента и по первой, и по второй темам, вместе взятым, и рассчитать среднее значение. Для третьей темы нужно отобрать супербаллы для трех тем, вместе взятых.

В коде эта формула представляется так:

Таким образом, рассчитанная успеваемость будет учитывать накопительный эффект: мы можем увидеть положительные или отрицательные изменения или не увидеть их вовсе.

Положительные изменения показывают, что от темы к теме успеваемость студента улучшается. Отрицательные, наоборот, свидетельствуют об ухудшении успеваемости студента в течение курса. Именно отображение накопительного эффекта является достоинством этой метрики (в отличие от расчета по урокам или темам изолированно).

Работа с обеими метриками, изолированной и накопительной, очень полезна. Глядя на изолированную метрику по темам, мы увидим, какие темы вызывали особые трудности у студента, а какие, наоборот, были для него простыми. А метрика в накопительном виде показывает именно тренд в успеваемости студента. По моему опыту, чаще всего значительный негативный тренд в течение нескольких тем четко предсказывает, что студент бросит обучение (на профессиональном сленге это называется «отвал»). В то же время отдельные темы, вызвавшие особые трудности, в меньшей степени предвещают «отвал», что не отменяет необходимости вносить улучшения в эти темы, если трудности их усвоения характерны для большого числа студентов.

Успеваемость может быть посчитана и для учебной группы (или подгруппы). В датасете наши студенты отнесены к двум условным группам: A и В. Для этого мы отобрали супербаллы не конкретного студента, а нужной нам группы (или подгруппы) и рассчитываем среднее значение по уроку, теме или курсу. В этом случае вычислительный код для расчета успеваемости группы выглядит так:

В результате применения этого кода получим таблицу следующего вида (скрин. 12):

^{Скриншот 12}

Наконец, мы можем увидеть успеваемость группы в интересующем нас разрезе, например по урокам или по темам. Для этого вместо корзинок по группам нужно собрать корзинки по темам и группам. В предыдущем коде команду group_by(group) заменяем на group_by(topic_id, group). В результате получим более подробную аналитику успеваемости групп по каждой теме (скрин. 13).

^{Скриншот 13}

Таким образом, как и в случае с посильностью, код для вычисления успеваемости работает как конструктор: мы можем сконструировать аналитическое решение (почти) для любой комбинации описывающих переменных. Согласитесь, это очень удобно.

Работая с метриками, важно понимать, насколько им можно доверять. Для этого мы обращаемся к расчету стандартной ошибки. Практика показывает, что метрикам можно доверять, если значение стандартной ошибки по ним не превышает 0,05–0,075. Это формирует достаточно плотные или узкие доверительные интервалы по метрике.

Основной сценарий практического использования опирается на метрику успеваемости в условиях сопровождения и поддержки студентов. Человеческий компонент (менторы, наставники, консультанты) занимает важное место во многих учебных проектах. Этот компонент помогает студентам не чувствовать себя одинокими в процессе обучения, создает ощущение, что на кого-то можно положиться и кто-то обязательно придет на помощь, если в процессе обучения возникли сложности, а автоматизированные инструменты поддержки не дали эффекта. При этом этот компонент является очень капиталоемким, потому что там задействовано самое дорогое – человеческий ресурс, и часто это высококвалифицированные специалисты. Компании нередко сталкиваются с трудностями при наращивании этого человеческого компонента: в какой-то момент линейное масштабирование (с ростом числа студента растет команда поддержки и сопровождения) становится невозможным.

Метрика успеваемости может улучшить качество сопровождения. Есть два ключевых варианта сценария использования этой метрики. Первый направлен на выявление конкретных трудностей у конкретных студентов. Мы можем регулярно (например, ежедневно или еженедельно) производить мониторинг студентов, показавших низкие значения (например, в категории frustrating или suboptimal) по определенным урокам. Далее этим студентам можно предложить подключиться к дополнительному вебинару по этому уроку. Это работает лучше по сравнению с подходом, когда у нас есть «контактный час» и любой желающий при наличии проблемы может прийти. Почему? Потому что мы предлагаем помощь именно тем, кому она действительно будет полезна (на основе аналитики).

Второй вариант сценария подразумевает выявление студентов, испытывающих систематические трудности, например тех, кто последовательно несколько уроков или тем оказывается в категории frustrating или suboptimal. Им можно предложить систематическое сопровождение (например, выделенный чат). Другой способ – назначить сильных студентов помогать тем, кто испытывает трудности. И опять нам поможет метрика успеваемости: нужно просто обратить внимание на студентов группы optimal и дать им возможность побыть в роли помощников своих одногруппников.

Итак, использование метрики успеваемости поможет гибко настроить и таргетировать сопровождение и поддержку студентов, предлагая и направляя помощь тем, кому она действительно нужна, и не перегружая общением тех, кто не испытывает трудностей в обучении.

Мы познакомились с базовыми и усовершенствованными метриками контента и студентов. Посильность помогает улучшать учебный контент и настраивать его на студентов в среднем, так как данная метрика основана на подсчете среднего супербалла для конкретной единицы контента. Успеваемость показывает, как конкретный студент в целом справляется с уроком, темой или курсом к настоящему моменту, поскольку эта метрика – средний супербалл по данному студенту.

На практике могут возникать ситуации, когда нужно посмотреть, как данный студент учится относительно других студентов, или, другими словами, относительно среднего студента. Этот запрос обычно обусловлен растущим интересом к персонализации учебного опыта – настройки обучения не на студентов в среднем и целом, а на конкретного студента. И для этого важно понять, какие учебные трудности испытывает конкретный студент.

Так у меня появилась метрика под названием «дельта», которое говорит само за себя: дельтой обычно обозначается разница между двумя значениями. В нашем случае дельта – это разница между тем, как с заданием справлялись студенты в среднем, и тем, как с ним справляется конкретный студент. Таким образом, дельта представляет собой разность между посильностью задания и супербаллом данного студента по этому заданию.

Вспомним, что посильность и супербалл могут принимать значения от 0 до 1 включительно, следовательно, дельта как их разность может принимать значения от –1 до 1 включительно. Отрицательные значения дельты свидетельствуют о том, что для данного студента задание оказалось менее посильным, чем для студентов в среднем; положительные, наоборот, – что данному студенту справиться с заданием оказалось проще, чем студентам в среднем. Значения, близкие к нулю (обычно в интервале от –0,1 до 0,1), означают, что этот студент, решая данное задание, не отличается от других.

Рассмотрим, как дельта рассчитывается в коде. Обращаю ваше внимание на то, что для подсчета нам нужны два объекта: данные с рассчитанными супербаллами и посильность заданий (таблица cf_se_i[40]). Таким образом, представленный код должен применяться после расчета посильности, описанного в соответствующей главе этой книги. Итак, код для расчета метрики «дельта» по заданиям выглядит так:

В этом коде мы сначала объединяем данные по супербаллам студентов за задания со значениями их посильности с помощью команды df %>% inner_join(cf_se_i, by = "task_id"). Таким образом, в одной строке у нас появятся идентификатор студента, идентификатор задания, супербалл студента за задание и посильность задания. Это позволит рассчитать собственно дельту с помощью команды delta_i = round(scoreij – cf_i, 2) как разность супербалла студента за задание с посильностью этого задания. Затем для удобства определяем референсный индекс с помощью команды delta_i_label = case_when(delta_i < -0.1 ~ "negative", delta_i > 0.1 ~ "positive", TRUE ~ "neutral"), маркирующей значения в интервале от –0,1 до 0,1 как нейтральные, а меньшие и большие значения – как отрицательные и положительные соответственно.

Дельта может быть интересной метрикой не только для отдельного задания, но и для более высоких уровней контента – уроков или тем. Для урока сначала необходимо подсчитать все дельты для заданий внутри этого урока, а затем вычислить по ним среднее значение.

Для других уровней контента подсчет будет аналогичным.

Дельта – полезный инструмент для настройки обучения на конкретных студентов, так как позволяет определять, каким студентам не давались отдельные задания или целые уроки и темы, и помогать им. Ценность метрики заключается в том, что она позволяет вслед за посильностью уточнить трудности. Если посильность высвечивает трудные элементы контента в целом, то дельта показывает, что даже оптимальные с точки зрения посильности элементы контента могут быть непосильными для отдельных студентов; идентифицирует как студентов, так и конкретные элементы контента. С практической точки зрения дельта может стать инструментом для персонализации. Например, студенты получают различный автоматизированный фидбэк в зависимости от категории дельты в разных разрезах, наставники могут рекомендовать дополнительный материал на основании значений дельты, а студентам с отрицательной дельтой может быть назначен «бадди» из числа студентов с положительной дельтой. Эти приемы сейчас апробируются в Практикуме.

Практический запрос всегда инициирует создание новых метрик. Однажды ко мне обратились коллеги с таким запросом. Студентам непрозрачен и непонятен прогресс в обучении – им важно видеть, где они уже преуспели, а где нужно поднажать. Обычно для этих целей платформы используют метрику прогресса, которая рассчитывается как доля уже пройденного или решенного от того, что платформа предлагает (готова предложить) в рамках изучаемого урока, темы или курса. Однако у такой метрики есть проблема: прогресс не отражает усилий, затраченных на его достижение; другими словами – того, какова посильность этого прогресса. Для примера: если мы возьмем двух студентов, прошедших равную долю заданий в уроке, их метрика прогресса будет одинаковой. Но если учесть, что один выполнил эти задания с первой попытки и без использования помогающих механик, а второй многократно пытался и часто обращался к помощи, станет очевидным, что прогресс не отражает реальности, он не будет валидной метрикой, которую мы можем показать студенту.

В ходе размышлений над тем, как с позиций валидности продемонстрировать студентам прогресс, мне пришла в голову идея корректировать значение прогресса на значение успеваемости. Так, два упомянутых студента получат разные значения метрик, отражающие индивидуальные различия в достижении прогресса. Мы решили назвать эту метрику скорректированным прогрессом. В коде ее расчет выглядит так:

Разберем код подробнее. Сначала группируем данные по темам group_by(topic_id). Затем в каждой теме считаем общее количество заданий mutate(total_tasks = n_distinct(task_id)). Далее для каждого студента в каждой теме считаем количество заданий, с которыми он взаимодействовал, – tasks_interacted = n_distinct(task_id), и соответствующее значение успеваемости lp_j = round(mean(scoreij), 2). Наконец – значение прогресса как отношение пройденного к общему числу заданий в теме prog = round(tasks_interacted / total_tasks, 2) и завершаем корректировкой полученного значения на успеваемость cor_prog = round(prog * lp_j, 2). Это значение и есть скорректированный прогресс.

Обратите внимание, что скорректированный прогресс более ценен для интерпретации. На графике (рис. 5) мы видим, что чем дальше студенты продвигаются по темам в смысле технического прогресса (доли сделанного от имеющегося), тем более разнообразным получается их скорректированный прогресс. У тех, кто имеет 100 %-ный технический прогресс (справа), – разнообразный скорректированный прогресс. Это может свидетельствовать о такой проблеме: завершая тему, студенты по-разному владеют материалом, и, очевидно, тем, кто имеет низкий скорректированный прогресс по завершении обучения, необходима дополнительная практика.

^{Рис. 5. Соотношение прогресса и скорректированного прогресса}

Важно отметить, что скорректированный прогресс полезно считать не только для уроков или тем, но и для метауровней содержания, например скиллов. Когда есть определенное количество учебного контента или заданий на определенный скилл, но они распределены между уроками или темами, скорректированный прогресс покажет процесс освоения в пределах этого скилла по всем урокам и темам.

Практика показывает, что студенты считают эту метрику полезной, особенно в сочетании с долей пройденного. Другими словами, они видят свой скорректированный прогресс относительно чистого прогресса (доли уже пройденного). Это помогает им сфокусировать усилия на повторении или дополнительной практике там, где различия между скорректированным и чистым прогрессом велики.

В этой главе мы опишем исследование, которое провели с целью изучить, насколько учебные трудности, выраженные с помощью метрики «дельта», связаны с досрочным завершением обучения. Можем ли мы использовать дельту как инструмент работы с учебными трудностями студента и тем самым увеличивать вероятность успешного прохождения обучающей программы? Такие исследования называют валидизационными.

Для достижения этой цели мы взяли данные по дельтам студентов одной из учебных программ (профессий), а также статус их обучения (закончили ли они обучение, продолжают ли учиться или отчислились), дату и причину их отчисления. Напомним, что дельта – это метрика, которая показывает, насколько конкретному студенту легко или тяжело учиться по сравнению со средним студентом. Дельта рассчитывается как для отдельных заданий – квизов, так и для более крупных единиц обучающей программы – уроков, тем и курсов.

В этом исследовании нас интересовали как раз эти более крупные дельты курсов и тем, так как можно предположить, что студент принимает решение отчислиться не потому, что ему тяжело даются некоторые отдельные задания, а скорее, потому, что ему сложно учиться в целом. Основная часть отчислений происходит в начале обучения, поэтому мы сфокусировались на курсах начального периода обучения. Мы выделили в исследовании несколько этапов, которые отвечают на следующие вопросы:

1. Есть ли различия в дельтах за курс у студентов, которые отчисляются после этого курса, и у студентов, которые остаются после этого курса? За сколько курсов до отчисления проявляется это различие?

2. Позволяют ли дельты по темам говорить о том, какие темы более важны для определения возможного отчисления?

Для ответа на эти вопросы мы взяли данные по дельтам курсов и тем, имеющие отношение к студентам, проходившим обучение в течение полугода, за два курса с начала обучения. Всего за полгода эти два курса прошли 1159 студентов, из которых 224 отчислились в какой-то момент этого периода – 181 студент после первого и 43 студента после второго курса. Посмотрим на распределение дельт по этим курсам (табл. 16).

^{Таблица 16. Основные описательные статистики}

Мы видим, что средняя дельта студентов за каждый курс находится около нуля. Это довольно ожидаемо и означает, что по этому показателю выборка не отклоняется от генеральной совокупности. Кроме того, дельта за курс 2 характеризуется гораздо большим разбросом, особенно это видно на положительной дельте: на втором курсе некоторым студентам было значительно проще учиться, чем среднему студенту. Возможно, это некий эффект снежного кома: студенты, которые лучше освоили первый курс, намного лучше чувствовали себя на втором. Также возможно, что дельты за второй курс обладают большим числом выбросов. Посмотрим на графические распределения дельт (рис. 6) и попробуем проверить, существует ли такая взаимосвязь между курсами.

^{Рис. 6. Распределения дельт в курсах 1 и 2}

Мы видим, что дельты курса 1 расположены более плотно вокруг 0, чем дельты курса 2, а также что очень высокие значения положительной дельты на курсе 2 – это, скорее, выбросы. Посмотрим на взаимное распределение дельт за эти два курса (рис. 7); выбросы удалены ради визуальной чистоты.

^{Рис. 7. Взаимные распределения дельт в курсах 1 и 2}

Действительно, студенты, которые испытывали трудности на курсе 1, склонны испытывать трудности также на курсе 2, и наоборот. Но все же большинство студентов находятся в средней зоне: они не испытывают ни существенных трудностей, ни существенной легкости по сравнению со средним студентом. Если оценивать уровень взаимосвязи между двумя дельтами, то корреляция между ними равна 0,47, что свидетельствует о достаточно высоком уровне взаимосвязи между показателями дельты на этих двух курсах.

Мы описали данные для этого исследования, теперь перейдем к поставленному в нем вопросу. Сформулируем гипотезы нашего исследования.

1. Студенты, отчисляющиеся в течение или после прохождения курса, испытывают большие сложности на данном курсе, чем те, кто продолжает обучение или уже закончили его и приступили к профессии.

2. Студенты, отчисляющиеся в течение или после прохождения курса, испытывают большие сложности на предыдущем курсе, чем студенты, которые продолжают обучение или уже закончили его и приступили к профессии.

На каждом курсе мы разделили студентов на три группы на основании их результатов:

1) студенты, успешно прошедшие этот курс и продолжающие обучение в настоящее время или успешно закончившие обучение;

2) студенты, успешно прошедшие этот курс, но отчислившиеся в дальнейшем;

3) студенты, отчислившиеся по итогам этого курса.

Для проверки первой гипотезы мы сравнивали дельты первой и третьей групп студентов, а для проверки второй – первой и второй групп. Предполагаем, что дельты обучающихся в среднем выше, чем дельты отчисляющихся. Посмотрим эти данные на графиках (рис. 8–10), где представлены ящичные диаграммы для каждой пары групп студентов.

^{Рис. 8. Дельта за курс 1 у продолжающих учиться студентов и студентов, отчислившихся после этого курса}

^{Рис. 9. Дельта за курс 2 у продолжающих учиться студентов и студентов, отчислившихся после этого курса}

^{Рис. 10. Дельта за курс 1 у продолжающих учиться студентов и студентов, отчислившихся после следующего (второго) курса}

На этих диаграммах видно, что дельты студентов, продолжающих обучение, несколько выше дельт отчислившихся студентов, а значит, графически наши гипотезы выглядят верными. Осталось провести статистический анализ, чтобы посмотреть на значимость и размер этих различий.

Для анализа мы использовали t-критерий Стьюдента для независимых выборок с поправкой Тьюки на множественные сравнения, а для расчета размера эффекта – показатель D Коэна (табл. 17).

^{Таблица 17. Результаты статистических тестов (к рис. 8–10)}

Таким образом, можно сделать вывод, что у студентов, которые отчисляются, дельта значительно ниже. При этом по дельте на курсе 1 очевиден прогноз, какие студенты станут отчисляться после курса 2. По результатам этого анализа можно утверждать, что необходимо обращать внимание на студентов, испытывающих учебные трудности, еще и потому, что работа с ними позволяет уменьшить вероятность прекращения их обучения.

Однако студенты отчисляются по разным причинам, в том числе по личным, финансовым и другим. И если отчисление по учебным причинам можно предупредить, то работать с неучебными сложно.

Посмотрим, сможем ли мы разграничить студентов, отчисляющихся по разным причинам (в Практикуме каждое отчисление классифицировано на две категории: по учебным и неучебным причинам). Если у студента все получается, но он отчисляется по неучебной причине, то дельты отчисляющихся по учебным и неучебным причинам должны различаться. Стоит отметить, что со второго курса отчислились всего 43 человека, и если их классифицировать, то у нас будет достаточно мало студентов в каждой группе. Это уменьшает возможности статистического вывода.

Приведем аналогичные ящичные диаграммы (рис. 11–13).

^{Рис. 11. Дельта за курс 1 у студентов, отчислившихся по разным причинам после данного курса}

^{Рис. 12. Дельта за курс 2 у студентов, отчислившихся по разным причинам после данного курса}

^{Рис. 13. Дельта за курс 1 у студентов, отчислившихся по разным причинам после следующего курса}

Здесь мы видим интересную картину: в первом случае дельты одинаковые, тогда как во втором и третьем различаются, и довольно существенно. Если проверить это статистически, то получим следующие результаты (табл. 18).

^{Таблица 18. Результаты статистических тестов (к рис. 11–13)}

Мы видим, что различаются дельты тех, кто отчислился после второго курса, но не после первого. Этому может быть несколько вариантов объяснения:

• результаты по второму курсу – случайный выброс из-за небольшого размера выборки;

• после успешного прохождения первого курса (на котором происходит знакомство с профессией) уменьшается доля тех, кому сложно учиться, поэтому те, кто отчисляется по неучебным причинам, в среднем трудностей не испытывают.

В любом случае этот результат помогает понять, какие студенты уже близки к тому, чтобы отчислиться, и обратить особое внимание на тех, кто испытывает особые трудности в обучении.

Описанное исследование позволяет сделать следующие выводы о связи учебных трудностей и доходимости студентов.

1. Успеваемость студентов (их учебные успехи и трудности) довольно тесно связана с их доходимостью. Зная, насколько преуспевает конкретный студент по сравнению с другими, можно судить о том, будет ли он учиться дальше или бросит учебу. Если мы хотим увеличить количество студентов, которые продолжат учиться и дойдут до конца обучения, целесообразно работать над их успеваемостью и помогать справляться с учебными трудностями.

2. Имеет значение успеваемость не только в конкретный момент, но и на предыдущих этапах обучения. Успеваемость на предыдущих курсах влияет на то, бросит ли студент учебу в дальнейшем, хотя и не так сильно, как текущая успеваемость. По сути, любая неуспеваемость имеет критическое значение и может способствовать тому, что студент бросит учебу.

Важно отметить, что в практике психометриков и аналитиков подобные валидизационные исследования должны проводиться в отношении всех метрик. Валидизация – это центральное понятие психометрики как науки. Процесс валидизации не исчерпывается единственным исследованием: это всегда сумма аргументов в пользу инструментов, метрик и алгоритмов. Или против них – так тоже бывает.

Итак, вы познакомились с моей любимой, без преувеличения, наукой – психометрикой. Вместе мы сделали первые шаги в расчетах и интерпретациях базовых метрик этой науки. Узнали, как эти метрики могут быть полезны малым и большим EdTechʼам. Я очень этому рад.

Рассмотренные в книге метрики можно классифицировать по двум основаниям. Первое – для какой стороны взаимодействия рассчитывается метрика, для студента или для контента; собственно, это позволяет выделить метрики студента и метрики контента. Второе – основана метрика на одной или сразу на всех (или многих) сторонах взаимодействия студента с контентом; так мы различаем базовые и суперметрики. Например, метрика доли верных ответов на задание – это метрика, характеризующая задание, учитывающая только верность ответа; это базовая метрика студента. Тогда как метрика успеваемости – это метрика, характеризующая студента, рассчитанная на основе супербалла, содержащего всю информацию о взаимодействии студента с заданием; это суперметрика студента.

Кроме того, базовые метрики отличаются от суперметрик еще и тем, что последние могут быть рассчитаны для любого уровня вложенности как на стороне студента (студент, когорта и пр.), так и на стороне контента (задание, урок, тема и пр.), тогда как базовые метрики определяются на индивидуальном уровне – для отдельного задания и конкретного студента.

Наконец, мы проанализировали и другие суперметрики, характеризующие студентов и разработанные для более глубокого понимания их учебного опыта и учебного прогресса, а также соответствующих практических приложений. Метрики, относящиеся к контенту, помогают улучшать его и делать это эффективно: улучшать там, где нужно, и не касаться того, где все хорошо. Метрики студента, в свою очередь, помогают балансировать учебный опыт и улучшать результаты через дополнительные интервенции – сопровождение и поддержку, коллаборативное обучение, автоматизированные инструменты (табл. 19).

^{Таблица 19. Обобщающая таблица о (психо)метриках, рассмотренных в книге}

Говоря о продуктовой или бизнес-ценности рассмотренных метрик, важно отметить следующее. Работая с метриками, мы должны ориентироваться на единую и удобную шкалу интерпретации, которая включает в себя четыре категории: фрустрирующую, субоптимальную, оптимальную, скучную. Они применимы к обеим взаимодействующим сторонам: и к студентам, и к контенту. Моя практика и исследования показали и продолжают показывать, что именно оптимальная категория приводит к желаемым продуктовым и бизнес-результатам: контент пробных уроков оптимальной посильности в большей мере способствует покупке платной части курса; студенты с оптимальной успеваемостью дольше остаются на курсе и чаще успешно заканчивают обучение. Таким образом, (психо)метрики, рассмотренные в этой книге, живут не в вакууме, а тесно связаны с метриками EdTech-бизнеса, с краткого обзора которых начинается введение к этой книге.

Однако важно заметить, что содержание этой книги стоит рассматривать исключительно как путь от 0 до 1. А путь от 1 до 100 еще более увлекателен. Почему я в этом уверен? Потому что возможности психометрики с точки зрения поиска возможностей для максимизации успеха студентов, улучшения образовательных продуктов, усиления образовательного бизнеса очень широкие, если не безграничные. Расскажу коротко об этих возможностях.

Самое главное – это студенты и их успех. Поэтому первая возможность – это поиск ответа на вопрос: как максимизировать успех студента? Здесь психометрика включается в исследовании процесса обучения, выявлении продуктивных стратегий обучения и паттернов взаимодействия с учебным продуктом. Так, анализ сильных и слабых студентов не по отдельности, а как класса поможет найти стратегии обучения в конкретном образовательном продукте, уже подтвержденные опытом сильных студентов, и совершить их трансфер к слабым. Кроме того, имея данные не только об учебных результатах, но и о внешних критериях (например, о трудоустройстве после обучения в продукте или сдаче экзамена после онлайн-подготовки в продукте), психометрика поможет найти стратегии для максимизации успеха или наступления этих целевых для студента событий.

Вторая возможность – это углубленное исследование того, как работает учебный контент. Одним из примеров является поиск взаимосвязей между учебными трудностями, с которыми сталкиваются студенты, и разматывание этого клубка трудностей. Приведу пример сети учебных трудностей, о которой я рассказывал в 2022 году на большой конференции Яндекса об образовании. На схеме (рис. 14) точки обозначают задачи, а оттенки серого цвета соответствуют темам – от первой (черного цвета), в которой всего четыре задачи, и далее по часовой стрелке к последней (белого цвета). Мы видим, как трудности, возникая в одной задаче первой темы, далее накапливаются от темы к теме (линии показывают взаимосвязи между отрицательными дельтами и фактически индивидуальными трудностями студентов в каждой задаче) и как проблемы, возникшие в одних заданиях, последовательно формируют проблемы в других, накапливаясь от темы к теме (при этом одна тема, предпоследняя, не формирует связанных трудностей: она является дополнительной). Такой подход подкрепляет работу с посильностью, помогает смотреть на проблемы контента не изолированно, а в системе и, соответственно, вносить не точечные изменения (улучшая одну задачу), а системные улучшения в контент.

^{Рис. 14. Сеть учебных трудностей}

Третья возможность – это психометрический подход к изучению и моделированию таких продуктовых метрик, как конверсия, удержание, завершение. В книге я коротко коснулся этого, когда говорил о том, что контент пробных уроков оптимальной посильности в большей мере способствует покупке основной, платной его части. Мы также убедились, что успеваемость студентов, выраженная через метрику «дельта», связана с успешным завершением обучения. Но это все описательные шаги. Расширенные же возможности психометрики связаны с моделированием всего образовательного продукта, максимизирующим желаемые продуктовые и бизнес-метрики. Такое моделирование позволяет найти оптимальные длительность, последовательность, посильность элементов учебного контента и учебного опыта и заранее оценить рентабельность соответствующих доработок. Так психометрика становится инструментом директоров по продукту (Chief Product Officer, CPO), владельцев продукта (Product Owner, PO), лидеров продукта и других, отличающихся названием, но схожих по целям и задачам руководителей. Это направление – продуктовая психометрика – фокус моих профессиональных интересов сейчас и тема для следующей книги. C препринтом одной из глав вы можете познакомиться на моем сайте www.abbakumov.com, где найдете дополнительные полезные материалы и к этой книге.

Верю, что мне удалось заинтересовать вас продолжать психометрические шаги. Всегда готов помочь вам в этом.

С уважением и благодарностью,

Дмитрий Аббакумов – российский и международный эксперт в области EdTech. В 2021–2023 годах занимал должность главного психометрика в Яндекс Практикуме. Преподаватель программ «Проектирование образовательного опыта» и «Продакт-менеджмент в образовании» в School of Education. Имеет докторскую степень KU Leuven (Бельгия) со специализацией в психометрике и статистике. Состоит в международном Психометрическом обществе и Европейской ассоциации методологии, автор статей в ведущих международных научных журналах, включая Behavior Research Methods, Applied Measurement in Education, Psychologica Belgica. Ранее руководил Центром психометрических исследований в онлайн-образовании НИУ ВШЭ.

Руководитель редакционной группы Галина Кучина

Ответственный редактор Анна Таривердиева

Литературный редактор Татьяна Собко

Дизайн обложки Антон Героев

Макет и верстка Екатерина Матусовская

Корректоры Елена Гурьева, Анна Быкова

Благодарим за помощь в работе над книгой команду Яндекса: арт-директора Валентину Смирнову, иллюстратора Олесю Ткач и руководителя проекта Анастасию Чуковскую.

ООО «МИФ»

mann-ivanov-ferber.ru

Большую и важную работу по систематизации EdTech-рынка в России делают Дарья Рыжкова и ее команда Smart Ranking, ежеквартально публикующие рейтинг крупнейших компаний в онлайн-образовании: https://edtechs.ru.

Регулярные исследования EdTech-рынка, разнообразные рейтинги и технологические прогнозы как в глобальном масштабе, так и в разрезах по регионам публикует команда HolonIQ: https://www.holoniq.com/education.

Сейчас программа называется «Обучение и оценивание как наука» и по-прежнему готовит психометриков.

Пятьдесят крупнейших мыслителей об образовании. От Конфуция до Дьюи / пер. с англ. Н. А. Мироновой; под науч. ред. М. С. Добряковой. М.: Издательский дом ВШЭ, 2019. С. 12.

James W. Houghton Library. Harvard College Library. URL: https://library.harvard.edu/sites/default/files/static/onlineexhibits/james/problems/8_12.html.

Edgeworth F. Y. The statistics of examinations // Journal of the Royal Statistical Society. 1888. September. Vol. 51, № 3. Р. 599–635. URL: https://www.jstor.org/stable/2339898.

Нечаев А. П. Современная экспериментальная психология в ее отношении к вопросам школьного обучения. СПб.: Типография И. Н. Скороходова, 1901.

Thurstone L. L. Psychology as a quantitative rational science // American Association for the Advancement of Science: Science. New Series. 1937. March 5. Vol. 85, № 220. Р. 227–232. URL: https://www.jstor.org/stable/1662685.

Adkins D. C. Construction and Analysis of Achievement Tests. Oxford, England: U. S. Government Printing Office, 1947.

Adkins D. C. Measurement in relation to the educational process // Educational and Psychological Measurement. 1958. № 18. Р. 221–240.

Lord F. M., Novick M. R., Birnbaum A. Statistical Theories of Mental Test Scores. Menlo Park: Addison-Wesley, 1968.

R. C. Wilson, A. Shenhav, M. Straccia & J. D. Cohen. The eighty five percent rule for optimal learning // Nature Communications. 2019. November 05. URl: https://www.nature.com/articles/s41467-019-12552-4.

Подсказка: воспользуйтесь кодом p_i1[p_i1$task_id %in% c("43f464b92996aa28", "5f596b6d2bf8eb9b", "67e3272b9bf1e589", "92fecefdabe81f5c"),].

Подсказка: воспользуйтесь командой head(as.data.frame(wide_p_ia)).

Подсказка: воспользуйтесь командой qa_i[qa_i$task_id == "d2028fff833be67a",].

Подсказка: воспользуйтесь командой avga_i[avga_i$task_id == "dcc90c3f53d93c00",].

Подсказка: воспользуйтесь командой qa_i[qa_i$task_id == "dcc90c3f53d93c00",].

Подсказка: воспользуйтесь командой wide_p_ia[wide_p_ia$task_id == "dcc90c3f53d93c00",].

Напоминаю, это следующие команды: df <– read.table("book_dataset_2b.tsv", header = TRUE, quote = "", sep = "\t") для подгрузки данных и df <– df %>% group_by(student_id, task_id) %>% arrange(timestamp) %>% mutate(attempt = row_number()) %>% filter(is_correct == 1) %>% slice(1) %>% ungroup() для вычисления переменной попытки и отбора эффективных попыток.

Подсказка: используйте команду h_i[h_i$task_id == "dcc90c3f53d93c00",].

Подсказка: используйте команду p_j[p_j$student_id == "1299da27aedcad06fa1c923f1ec584c7",].

Подсказка: используйте команду p_jl[p_jl$student_id == "1299da27aedcad06fa1c923f1ec584c7",].

Используйте команду df <– read.table("book_dataset_2a.tsv", header = TRUE, quote = "", sep = "\t") для подгрузки данных.

Подсказка: воспользуйтесь командой p_j1[p_j1$student_id %in% c("2c49eb91a8cca06f3842cb76ef17048f", "2f5834cdaaacf9e21661b8a9bb87c557"),].

Но если вы забыли, то для отбора эффективный попыток следует применить команду df <– df %>% group_by(student_id, task_id) %>% arrange(timestamp) %>% filter(is_correct == 1) %>% slice(1) %>% ungroup().

Подсказка: воспользуйтесь командой qa_j[qa_j$student_id == "5214c659eeee27501cf51d0cf2eb6443",].

Подсказка: используйте команду qa_jt[qa_jt$student_id == "5214c659eeee27501cf51d0cf2eb6443",].

Для этого последовательно используйте следующие команды: df <– read.table("book_dataset_2b.tsv", header = TRUE, quote = "", sep = "\t") для подгрузки данных и df <– df %>% group_by(student_id, task_id) %>% arrange(timestamp) %>% mutate(attempt = row_number()) %>% filter(is_correct == 1) %>% slice(1) %>% ungroup() для вычисления переменной попытки и отбора эффективных попыток.

Подсказка: используйте команды h_j[h_j$student_id == "5214c659eeee27501cf51d0cf2eb6443",] и h_jt[h_jt$student_id == "5214c659eeee27501cf51d0cf2eb6443",] соответственно. Интересно, что эти темы оказались особенно трудными для студента и с точки зрения квартилей попыток.

Подсказка: для расчета переменной номера попытки используйте код df <– df %>% group_by(student_id, task_id) %>% arrange(timestamp) %>% mutate(attempt = row_number()).

Подсказка: используйте команду df[df$student_id == "95754bcd795ace386e00b58a620a923f" & df$task_id == "caa2a204b0ca6922", c("result", "scoreij")].

Подсказка: используйте команду df[df$student_id == "95754bcd795ace386e00b58a620a923f" & df$task_id == "caa2a204b0ca6922", c("result", "scoreij")].

Подсказка: используйте команду cf_i[cf_i$task_id %in% c("252cef276a2cdc2d", "2d4ae0e86fc03f28", "3a1a62d0c3ecdb85", "4712ae386cd95a94"),].

Подсказка: воспользуйтесь командой se_i[se_i$task_id %in% c("252cef276a2cdc2d", "2d4ae0e86fc03f28", "3a1a62d0c3ecdb85", "4712ae386cd95a94"),].

Подсказка: используйте команду cf_se_i[cf_se_i$task_id %in% c("252cef276a2cdc2d", "2d4ae0e86fc03f28", "3a1a62d0c3ecdb85", "4712ae386cd95a94"),].

Подсказка: воспользуйтесь командами cf_se_l[cf_se_l$lesson_id %in% c("17df10e8", "214517e8"),] и cf_se_t[cf_se_t$topic_id %in% c("19faa39c", "3cd2fcfb"),].

Подсказка: используйте команду lp_se_j[lp_se_j$student_id == "06ec7a233d9c27e55d8e633faf02602f",].

Подсказка: используйте команду lp_se_jt[lp_se_jt$student_id == "06ec7a233d9c27e55d8e633faf02602f",].

Подсказка: используйте команду cum_lp_se_jt[cum_lp_se_jt$student_id == "06ec7a233d9c27e55d8e633faf02602f",].

При использовании кода из главы 7 мы получаем объект (таблицу) с названием cf_se_i.

Подсказка: воспользуйтесь командой delta_i[delta_i$student_id == "00dbddaf9eef1970f1e76b13b5450266" & delta_i$task_id %in% c("00b215f49dd523c7", "09406474610bb1ec", "13e69a781ac0a474"),].

Подсказка: воспользуйтесь командой summary(as.factor(delta_l[delta_l$student_id == "00dbddaf9eef1970f1e76b13b5450266",]$delta_l_label)).

Подсказка: воспользуйтесь командой cor_prog[cor_prog$student_id == "00dbddaf9eef1970f1e76b13b5450266" & cor_prog$topic_id == "a9768f44",].