Проблемы инфляции оценок и симптомы академического мошенничества на МООК: о чем говорит учебная аналитика

Abstract

В статье рассматриваются вопросы использования массовых открытых онлайн-курсов (МООК) при реализации образовательных программ в вузах и связанные с этим проблемы оценивания результатов обучения студентов. Широкое внедрение в образовательную практику онлайн-курсов существенно повышает риски неконтролируемой инфляции оценок, что в дальнейшем может повлечь за собой потерю доверия к университетскому образованию со стороны работодателей. В рамках исследования был проведен анализ данных 18 онлайн-курсов УрФУ на Национальной платформе открытого образования (более 50 запусков в период пандемии COVID‑19) с целью оценки показателей качества контрольно-измерительных материалов курсов, успеваемости, активности и равномерности обучения студентов с помощью системы рекомендательных сервисов и поддержки индивидуализированного обучения «Цифровой тьютор». Результаты исследования дают основания утверждать, что существующие онлайн-курсы не позволяют объективно оценивать реальный уровень знаний и навыков студентов ввиду несовершенства контрольно-измерительных материалов и недостаточного объема банка заданий. Усугубляют ситуацию случаи академического мошенничества со стороны студентов, выявленные в ходе анализа их цифрового следа на платформе. Это приводит к неконтролируемой инфляции оценок, что подтверждается высокими значениями среднего балла слушателей (82 балла по текущему контролю и 70 баллов по итоговой аттестации), смещением медианных значений распределения в сторону больших баллов по отношению к среднему, а также критически высокой долей хороших и отличных оценок по всем курсам (80 %). Выявленные проблемы не позволяют использовать МООК в модели исключительно электронного обучения и требуют применения смешанных форматов обучения и итоговой аттестации в виде независимого тестового контроля на основе специально разработанного банка заданий, удовлетворяющего требованиям психометрики.

The article studies the use of massive open online courses (MOOCs) when implementing educational programs at the university together with the related problems of evaluating students’ learning outcomes. The widespread introduction of online courses into educational practice significantly increases the risks of uncontrolled inflation of grades, which in the future may lead to a loss of employers’ confidence in university education. Within the study, there were analyzed the data of eighteen Ural Federal University’s online courses on the National Open Education Platform (more than 50 launches during the COVID‑19 pandemic). The aim was to assess the quality indicators of the course materials, academic performance, steadiness and regularity of students’ learning with the help of the «Digital Tutor» system. The results of the study show that the existing online courses cannot be a basis for an objective assessment of the real level of students’ knowledge and skills due to the imperfection of test materials and the insufficient volume of the task bank. The situation comes to be even worse thanks to the cases of students’ academic fraud, its traces identified during the analysis of their digital footprint on the platform. This leads to the uncontrolled inflation of grades, that is, to the high average score (82 points out of 100 in the semester and 70 points at the exam), to the shift in the median values of the distribution towards higher scores as compared to the average one, as well as to a critically high proportion of good and excellent marks in all courses (80%). The identified problems do not allow to use MOOCs in an exclusively e-learning model and require mixed learning formats and final certification in the form of an independent test control based on a specially developed bank of tasks that should meet the requirements of psychometrics.