136
06.10. Вес тестового задания. Полдюжины факторов
снижающих ценность понятия веса ТЗ
Независимо от единиц измерения, используемых поставщиком или покупателем,
производитель будет использовать свои собственные произвольные единицы измерения,
переводимые в единицы поставщика или покупателя с помощью странных и неестест-
венных коэффициентов пересчета.
Теорема Вышковского (Артур Блох. Мерфология)
Можно «взвесить» задания относительно друг друга внутри каждого уровня, если это не-
обходимо. Однако здесь следует иметь в виду следующие соображения.
Вычисление относительного веса заданий, т. е. их относительной трудности для учащихся
– довольно сложная задача. Она требует проведения большого количества тестирований с
участием многих учащихся. При этом на величины вычисляемых
Вами весов могут не-
предсказуемо повлиять следующие факторы:
• Разные учащиеся в разное время могут пользоваться при подготовке к тестирова-
нию разными учебниками, где один и тот же вопрос освещен с разной степенью
подробности и ясности;
• Смена (или временная подмена) преподавателя дисциплины приводит к освеще-
нию разных вопросов в разных учебных группах с разной степенью подробности и
ясности. Поэтому при взвешивании можно вес одного и того же вопроса для одних
избрать чересчур высоким, для других – низким;
• Учащиеся, прошедшие тестирование первыми неизбежно передадут почерпнутую
информацию следующим, и те придут тестироваться более подготовленными. Не-
одновременность сеансов тестирования и неконтролируемость распространения
информации среди учащихся о тестовых заданиях сделают Ваши попытки «скру-
пулезного взвешивания» бессмысленными;
• Учащиеся, лучше всех знающие учебный материал, лучше всех прогнозируют для
себя время, необходимое для выполнения заданий. Поэтому они выполнят в пер-
вую очередь простые задания, а сложные оставят на «потом». Это приведет к оши-
бочному пониманию сложности заданий – за «сложные» Вы ошибочно примете
«долгие»;
• Рабочие учебные программы по дисциплинам иногда меняются, в соответствии со
взглядами руководства. Каждая такая смена будет разрушать Ваши результаты
«взвешиваний» и заставлять Вас приниматься за эту решение этой задачи вновь.
• Величины весов ТЗ, вычисленные на разных выборках претендентов, получатся
разные. Следовательно, претендент, результаты тестирования которого учитыва-
лись в совокупности с разными выборками, будет иметь разный результат.
Таким образом, для учащихся, учившихся в разных учебных группах и в разные периоды
времени, веса заданий, вычисленные по результатам тестирований других групп, будут
относительно необъективны
. Кроме того, опыт работы жюри олимпиад говорит, что, по
какой бы системе веса не вычислялись, дополнительной объективности решению жюри
это никогда не придает и список призеров от этого меняется мало.
Поэтому «сложность» заданий надо учитывать по-другому. Например, путем перехода к
многомерной векторной оценке, векторному рейтингу. Компоненты вектора – рейтинга
характеризуют
относительный успех претендента в выполнении конкретных групп ТЗ.