У меня с давних пор существует предвзятое отношение к формату тестирования с заранее определёнными вопросами. Я решил проверить, насколько это ощущение верно.
Оказалось что тестирование не так уж плохо оценивает знания в случае
- когда количество вариантов не слишком мало (например восемь) и
- нет никаких глупых вариантов, которые отсекаются простым здравым смыслом (т.е. выбор вариантов в случае незнания ответа равновероятный).
Вот к примеру возьмём тест на 20 вопросов с 8 вариантами ответов для каждого. Об уровне знания тестируемого ничего не знаем (он может знать ответ с вероятностью 50%).
В таком раскладе выходит что если тестируемый ответил на все вопросы теста верно, то вероятность того, что он реально знал ответ на все вопросы 9,48%.... Как-то немного. Но если пойти дальше, то можно увидеть, что вероятность не знать
- 1 вопрос из 20 уже 33,19%
- 2 вопроса из 20 - 61,34%
- 5 вопросов из 20 - 98,16%
Т.е. если тестируемый ответил на все вопросы, то мы можем быть почти наверняка уверены что уж три четверти ответов то он действительно знает, а это неплохое покрытие вопросов.
Больше деталей расчёта тут: https://docs.google.com/spreadsheets/d/1JHMKsQqTIbuK0bZz-Dhq4uwTaEp2ZqMcq1s5aBqDIhQ/edit?usp=sharing
Спасибо Сергею за задачку из его курса по терверу, которая навела меня на эту тему.