Чем это отличается от штатных отчётов теста?

Штатные отчёты рассчитаны на один тест и одного преподавателя. Здесь — сводка по потокам и программам, разрезы по темам, печатный протокол и выгрузки для заказчика.

Как понять, что вопрос сформулирован плохо?

По статистике: если сильные слушатели отвечают на него хуже слабых, различающая способность отрицательная — почти всегда это дефект формулировки, а не сложность.

Можно ли измерить прирост знаний?

Да, через связку входного и итогового тестирования по одному банку вопросов. Отчёт сравнения показывает прирост по слушателю и по группе.

Нужен ли протокол тестирования в бумажном виде?

Если тест — часть итоговой аттестации, обычно да. Делаю печатную форму протокола с результатами группы под подпись.

Как защитить итоговый тест от списывания?

Случайная выборка из банка, перемешивание, ограничение времени и попыток, безопасный режим. Для большинства программ этого достаточно без прокторинга.

Отчёт по результатам тестирования и анализ вопросов

Тесты в Moodle собирают много данных, но штатные отчёты рассчитаны на преподавателя-исследователя. Привожу их к управленческому виду: результаты по группам, слабые темы, некорректные вопросы, готовые выгрузки.

Смотреть кейсы

Официально, по договору15+ лет в образовании60+ внедренийРоссийская специфика: 1С, ЕСИА, ФГОС

Знакомые ситуации

Результаты теста приходится собирать по каждой попытке отдельно.

Непонятно, какие вопросы сформулированы плохо, а какие темы не усвоены.

Нет протокола тестирования в виде документа — только экран Moodle.

Входное и итоговое тестирование нельзя сравнить, хотя заказчик об этом спрашивает.

Что я делаю

Результаты по группам

Сводка по потоку: баллы, проценты, зачёт/незачёт, попытки, дата сдачи.

Анализ вопросов

Сложность и различающая способность: видно вопросы, которые стоит переписать.

Слабые темы

Разрез по темам банка вопросов — где программа объясняет недостаточно.

Протокол тестирования

Печатная форма с результатами группы под подпись.

Вход против итога

Сравнение входного и итогового тестирования — измеримый прирост знаний.

Выгрузка в Excel

Данные для отчёта заказчику или собственной аналитики.

Для кого: Организации ДПО и корпоративные университеты, где тестирование определяет выдачу документа или служит доказательством результата обучения.

Как это выглядит на практике

Конкретно, без общих слов — что именно я делаю и какой результат вы получаете.

Штатная статистика Moodle недооценена

В Moodle есть хороший отчёт по статистике теста: индекс сложности, различающая способность вопросов, эффективность дистракторов. Им почти никто не пользуется, потому что он выглядит академично. А смысл у него простой и практичный. Вопрос, на который правильно отвечают все, ничего не измеряет. Вопрос, на который сильные слушатели отвечают хуже слабых, почти всегда сформулирован некорректно. Я настраиваю этот отчёт в понятном виде и объясняю методистам, как его читать.

Плохой вопрос стоит дороже, чем кажется

Один некорректный вопрос в итоговом тесте создаёт цепочку: несправедливые незачёты, обращения, пересдачи, испорченные отзывы. При этом найти его по данным можно за минуту — если смотреть статистику. Поэтому в регламент работы с программой я предлагаю добавить простой шаг: после каждого потока смотреть анализ вопросов и править выявленные проблемы. Банк вопросов улучшается сам собой.

Прирост знаний как аргумент для заказчика

Корпоративному заказчику недостаточно сообщения «все прошли обучение». Убедительнее цифра: входное тестирование показало столько, итоговое — столько, прирост такой. Настраиваю связку входного и итогового теста по одному банку вопросов и отчёт сравнения. Это заметно помогает при продлении договоров и в тендерах, потому что переводит обучение из услуги в измеримый результат.

Честность результатов

Если от теста зависит документ, стоит защитить его от простого списывания: перемешивание вопросов и вариантов ответов, случайная выборка из банка, ограничение времени и числа попыток, безопасный режим. Эти меры бесплатны и закрывают большинство бытовых ситуаций. Прокторинг — отдельное решение, и нужен он далеко не всегда; скажу прямо, когда он в вашем случае избыточен.