Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

строгий алгоритм действий: начиная от объяснения цели

тестового контроля учащимся и заканчивая

инструктажем по технике безопасности при работе с

аппаратурными и компьютерными тестами. Следует

также дать рекомендации, на какие положения

инструкции испытуемому надо обратить особое

внимание. И что немаловажно — инструктировать

понятным и простым языком с графическим выделением

главного и существенного.

Средства профилактики негативных ситуаций

тестирования

В процессе тестирования далеко не все обследуемые

стремятся добросовестно отвечать на вопросы и

задания. Поэтому возможны негативные ситуации,

связанные с широким спектром мотивов: от

принципиального неприятия тестирования как метода

контроля знаний и изучения личности до чисто детского

баловства даже со стороны взрослых. Такие ситуации

встречаются в психологическом тестировании, но не

исключены при многоэтапном тестовом контроле знаний.

Опасно, если это следствие сговора группы, не

заинтересованной по каким-либо причинам проходить

тестирование и желающей его сорвать. Отказ отвечать

на тест значительно искажает результаты, особенно

если число отказавшихся превышает 5%.

Декларированные отказы (независимо от мотивов и их

обоснованности) при массовом тестировании снижают у

остальных обследуемых мотивацию работы.

Особенно негативно публичные отказы сказываются

на репрезентативности выборки теста, если инициатора-

ми являются лидеры групп. Попытки убеждать и угова-

ривать, как считают опытные исследователи, — ошибоч-

ная практика и ни к чему обычно не приводят. Запуган-

ная группа при дидактическом тестировании даёт

заведомо заниженные результаты.

171

Ч А С Т Ь П Е Р В А Я

Способами профилактики ситуации отказов являет-

ся, как показывает практика:

а) продуманный выбор времени тестирования;

б) определение его разумной продолжительности (с

учётом того, что после 30-35 мин работы с тестом

продук-

тивность решений снижается);

в) комфортность помещения, температуры, отсутст-

вие отвлекающих факторов (шум, хлопающие двери);

г) предварительное разъяснение цели и задач тести-

рования, значимости его результатов для объективного

оценивания знаний и умений учащихся;

д) внешний вид и стиль общения лица, проводящего

тестирование, должны не отвлекать обследуемых, а сти-

мулировать добросовестную работу, создавая

доброжела-

тельную атмосферу.

Второй вид искажений — стремление

опрашиваемого по возможности прятаться за

нейтральными ответами типа «затрудняюсь ответить»

(если они предусмотрены тестом). Считается, что если в

тесте у кого-либо из обследованных до 30% ответов

такого типа, то его следует исключить из выборки (при

оценке репрезентативности, надёжности, валидности

теста).

Опыт показывает, что если более 50% опрошенных

затрудняются ответить определённо по какому-либо

пункту теста — скорее всего это высказывание неудачно,

имеет слабую дискриминантную способность.

Третьим видом являются преднамеренные искаже-

ния ответов со стороны тех, кто знает правильный

ответ, но по каким-то психологическим причинам

решает пошутить или поскорее избавиться от

процедуры тестирования. Среди них встречаются

«любители системного подхода». Они отмечают либо

каждый первый (третий и т.п.) вариант ответа, либо все

чётные (либо нечётные) вопросы, дающие ответ «верно»

(»неверно»), либо на первую половину теста

172

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

отвечающие утвердительно, а на вторую — от-

рицательно (или наоборот).

Считается, что проверку искренности позиции отве-

чающего лучше проводить методами, которые не

вызывают возникновение у респондентов ощущения

подозреваемых.

Психологические личностные опросники включают

группы вопросов, контролирующих добросовестность оп-

рашиваемого — «шкалы лжи», а профессионально со-

ставленные анкеты — специальные контрольные вопро-

сы. В дидактические тесты можно включить такого рода

вопросы.

Такой приём целесообразно применять не в первич-

ном варианте тестов, а в том, которой после отбора луч-

ших заданий проходит стандартизацию и предназначен

для публикаций. Если при проведении тестирования диа-

гностом были замечены какие-то отвлекающие, «шумо-

вые» факторы — он обязан их зафиксировать в отчёте и

попытаться дать прогноз возможного влияния этих фак-

торов на результаты. К таким факторам относятся: нео-

жиданное появление в аудитории постороннего или

представителя администрации, шум около аудитории,

обморок или какие-то яркие внешние проявления

болезни кого-либо из опрашиваемых (тошнота, громкий

продолжительный кашель).

Для того чтобы предупредить попытки тестируемых

найти ответ с помощью подсказки или других тестируе-

мых, необходимо заранее в инструкции по проведению

тестирования чётко оговорить порядок действий педаго-

га-диагноста: замечания с фиксацией нарушителя и за-

дания, по которому запрашивалась помощь; исключение

для нарушителей этого задания из числа оцениваемых;

повторное тестирование нарушителя в индивидуальном

порядке; прекращение тестирования всей группы и т.п.

6 - 2976

ИНСТРУКЦИЯ ИСПЫТУЕМОМУ

173

Ч А С Т Ь П Е Р В А Я

В каждом тесте имеются свои особенности,

обусловленные целевой направленностью, ступенью

контроля, на которой он применяется, особенностями его

композиций и пр. Всё это диагносты обязаны сообщить

испытуемому как при традиционном, так и при

компьютерном тестировании. Если в определённых

случаях испытуемый стимулируется дополнительными

баллами или штрафуется за задержки ответа или за

несанкционированное поведение типа «системного»

угадывания, лучше заранее об этом предупредить.

В компьютерном тестировании, особенно когда тест

включён в состав диагностико-коррекционной програм-

мы, необходимы инструктивные кадры с «меню» допол-

няющих, обучающих подпрограмм и комментариями не-

верных ответов, анализом их причин.

Известный английский педагог и психолог Э. Стоуне,

пропагандируя диагностический подход, считает

преимуществом критериально-ориентированных тестов

то, что они дают возможность самому учащемуся

получать сведения по тем разделам программы, которые

он не понял. «Тест возвращает его к тем фрагментам

учебного материала, на которые учащимся необходимо

обратить особое внимание, и тем самым корректируются

ошибки понимания. В этом случае мы имеем дело с

тестом, обеспечивающим диагностическую обратную

связь и приспособленным к тем же задачам, что и

обучение», то есть с критериально-ориентированным

тестом [144, с. 369].

ФОРМЫ ФИКСАЦИИ ОТВЕТНЫХ ДЕЙСТВИЙ ИСПЫТУЕМОГО

От удобства формы фиксации ответа испытуемых в

традиционных «бумажных» тестах во многом зависит и

скорость их выполнениями возможность профилактики

случайных ошибок. Многие тесты имеют хорошо проду-

манные формы фиксации ответов — например, когда в

бланке отмечается порядковый номер заданий и, кроме

того, рядом приводится его пиктограмма. Или же когда

174

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

измеряемый признак отмечается условным знаком,

затем в специальных столбцах диагносту остаётся

вставить «птички» и суммировать данные по классу.

Возможны и другие формы фиксации ответов — таб-

лицы, куда они вписываются, изображения вариантов

графических действий или элементарные рисунки в тес-

тах с конструируемым ответом, действия с курсором в

компьютерных тестах.

В ряде компьютерных тестов на экране присутствует

счётчик правильных ответов (иногда и таймер, фиксиру-

ющий использованное или оставшееся время).

Главное требование к любой форме фиксации

ответов тестируемого — её удобство для него (а не для

диагноста, хотя весьма желательно и это). При

противоречии вопрос однозначно надсГрешать только в

пользу испытуемого.

Форма фиксации ответа должна продумываться в

процессе создания и композиции каждого тестового

задания и на итоговой стадии композиции теста.

Целесообразен специальный методологический экс-

перимент на достаточно репрезентативном

разновозрастном контингенте для апробации различных

форм фиксации ответов испытуемых на тестовые

задания одного уровня трудности, но представленные

тоже в разных формах. Полученные данные были очень

полезны при дальнейшем конструировании

дидактических тестов, если бы удалось получить

факторные веса, связанные с формами фиксации

ответов. Такие эксперименты в педагогике пока крайне

редки, но без них дидактическая тестология никогда не

станет настоящей научной дисциплиной. Общая

методология экспериментов подобного типа в психо-

логии и социологии известны, их вполне можно адапти-

ровать к нуждам педагогики.

Теория дидактической тестологии ждёт своих

исследователей, которые, используя современные

компьютерные средства, опыт математического

моделирования в психолого-педагогических науках,

175

Ч А С Т Ь П Е Р В А Я

смогут решить спорные и малоразработанные проблемы

создания эффективных дидактических тестов разного

типа.

3. Эмпирический

анализ

дидактического теста

Эмпирический анализ дидактического теста прово-

дится после получения первых (и последующих) резуль-

татов как в процессе апробации вновь созданного или

переведённого теста, так и при работе с хорошо

известным, стандартизированным тестом на ранее

«неиспробован-ном» контингенте испытуемых.

Поскольку таких стандартизированных предметных

и межпредметных тестов в России и СНГ почти нет, чаще

всего необходимо проводить достаточно объёмные

процедуры эмпирического анализа для выявления

диагностической ценности имеющегося теста, а не

просто проставить оценки в табель или ведомость об

успеваемости.

Без эмпирического анализа теста невозможна

проверка его на надёжность и валидность, его

корректировка.

Эмпирический анализ определяет, что с тестом мож-

но делать — забраковать или стандартизировать.

Как отмечает К. Ингенкамп, для эмпирического ана-

лиза тестовых заданий необходимо прежде всего полу-

чить сведения о степени сложности каждого задания,

его селективности и выверке дистракторов

(отвлекающих вариантов ответа — подсказок в закрытом

тест-задании с выбором вариантов).

Выборка обследуемых для проверки тестов должна

включать минимум 300-400 человек и быть максимально

приближённой по демографо-биографическим характе-

ристикам к тому контингенту, на который рассчитан тест

(учащиеся городских или сельских школ в их реальном

соотношении по полу, по классу обучения или курсу, на

котором они изучают данный предмет и т.д.).

176

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

Как отмечает Г. Витцлак, при анализе диагностичес-

ких данных надо ориентироваться на основную задачу,

которая при этом решается, и соответственно

стремиться к разработке наиболее адекватных

диагностических методов. В педагогической

диагностике при оценке учащихся это очень важное

требование [119, с. 60].

3.1. ЭМПИРИЧЕСКИЙ АНАЛИЗ СТЕПЕНИ

СЛОЖНОСТИ ЗАДАНИЙ

Степень сложности заданий определяется

процентом учащихся, справившихся с выполнением

каждого задания. Так, К. Ингенкамп считает, что если

задание правильно решили 70% испытуемых, степень

его сложности (Р) равна 70. Чем легче задание, тем

больше Р в числовом выражении.

Поскольку степень сложности задания зависит и от

его месторасположения в структуре всего теста, то в

проверочном испытании рекомендуется использовать не-

сколько вариантов теста с различной последовательнос-

тью заданий [53, с. 131].

На чем основана эта цифра 70% ? Цо мнению

современных психологов, распространённые

дидактические тесты выявляют обычно не умения, а

ориентировочную основу действий учащихся. В

литературе встречаются ссылки на педагогические

эксперименты, которые якобы доказывают, что

овладение ориентировочной основой действия в какой-то

конкретной области достигается в том случае, когда

коэффициент усвоения знаний или умений не ниже 0,7.

Коэффициент усвоения показывает, сколько учащихся

правильно выполнили операции из числа необходимых

для решения теста. В некоторых сложных видах деятель-

ности, связанных с риском для человеческой жизни или

возможным большим общественно-экономическим Ущер-

бом от непрофессионализма, верхнее значение

коэффициента усвоения должно приближаться к

177

Ч А С Т Ь П Е Р В А Я

единице (вождение транспорта, операторские

профессии и т. п.).

В профпедагргике этот фактор необходимо

учитывать при экспертном определении необходимого

коэффициента усвоения.

В частности, В.П. Беспалько отмечает: «проведённые

исследования показывают, что при Ка => 0,7 процесс

обучения можно считать завершённым, так как в

последующей Деятельности учащийся способен в ходе

самообучения совершенствовать свои знания, а при

усвоении Ка < 0,7 совершает систематические ошибки и

не способен к их исправлению» [23, с. 59]. Однако какие

именно исследования подтверждают эту цифру 0,7, В.П.

Беспалько ссылки не даёт.

В зарубежных педагогических концепциях успеш-

ным считается обучение, при котором учащийся на 95%

вопросов даёт правильные ответы [41, с. 61].

Разумеется, определение необходимого минимально-

го коэффициента усвоения знаний и умений зависит и от

их структурной сложности, и от «удельного веса», значи-

мости знаний, освоение которых обязательно должно

войти в этот коэффициент в комплексе диагностируемых

знаний и умений. Нам не удалось встретить в литературе

обоснование репрезентативности экспериментов, в кото-

рых были получены указанные выше цифры.

Возможно, здесь проявилось традиционное для

педагогов невнимание к методологии или же

исследователей этот вопрос просто не интересовал. Но

накопление таких.данных, на наш взгляд, необходимо,

так как они влияют на весь процесс создания и

апробации теста, на определение его нормативов или

критериального минимума освоения навыка, развития

диагностируемого свойства личности. Методисты,

составляющие тесты, стремятся к распределению

степени сложности заданий от Р = 20 до Р = 80 со сред-

ней величиной Р = 50. Возможно, в тестах разного типа

допустима различная степень сложности и трудности

заданий. Всё это предстоит экспериментально

178

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

обосновывать, не принимая на веру никакие

недоказанные цифры.

В практике зарубежной психодиагностики, как

известно, широко используются интеллектуальные

тесты (Г. Ай-зенка, классический бинесимона в

различных модификациях и множество производных от

него; Векслера, Терстоуна и т.п.). Исследования

показали достаточно высокие корреляции между

данными учащихся по этим тестам и степенью

трудности заданий для них. При наличии

психодиагностического сопровождения дидактических

тестов или банка данных о результатах

интеллектуального тестирования появляется

возможность перепроверки всех показателей трудности

заданий с учётом психодиагностического аспекта.

Лоренс М. Столяров отмечает, что «хотя результаты

тестов на определение умственной одарённости могут

служить показателями уровня трудности задания, с

которым ученик еще может справиться, они не

предсказывают темпа, в котором тот будет усваивать

задания. Индивидуальные различия скорости научения,

очевидно, являются результатом воздействия

нескольких факторов, например, мотивации, способности

к непосредственному запоминанию, умения

сконцентрировать внимание» [143, с. 102].

Распределение результатов теста является

средством полной проверки трудности теста для

обследуемых. Оно позволяет оценивать ошибки лёгких и

трудных заданий для данной группы обследуемых. В

США при получении на выборке стандартизации

распределения результатов теста, существенно

отличающегося от нормального, корректируется

трудность заданий для приближения их к нормальной

кривой — добавляются более лёгкие или более трудные

[7, с. 182-186].

3.2. ОПРЕДЕЛЕНИЕ СЕЛЕКТИВНОСТИ

ЗАДАНИЙ ТЕСТА

179

Ч А С Т Ь П Е Р В А Я

Коэффициент селективности задания определяет

взаимосвязь этого задания с решением всех других в

первоначальной форме теста или батареи (корреляцию

от -1 до +1). Если учащиеся, не выполнившие данное

задание, не могут также решить и все остальные,

коэффициент селективности приближается к +1. Если

хорошие ученики не выполняют данное задание так же

часто, как и плохие, то коэффициент селективности

задания равен нулю. Когда же слабоуспевающие

ученики решают задание лучше хорошоуспе-вающих

(например, при неточных формулировках, когда

«сильные» ищут ошибочные пути), коэффициент селек-

тивности может иметь отрицательный знак. Желательно,

чтобы коэффициент селективности был выше 0,30.

В тестах с набором вариантов ответа (элективных)

ни один вариант ответа не должен быть столь

невероятным, чтобы его выбрали менее 5% опрошенных.

Если такое произошло, этот вариант надо заменить или

перестраивать данное тестовое задание и затем снова

проверять его на трудность и селективность. Если

задание выполнило более 95% обследованных, его

обычно заменяют как слишком лёгкое.

Однако В. Оконь считает, что отбор заданий должен

быть более жёстким. По его мнению, тестовое задание,

которое дает свыше 75% правильных решений, слишком

лёгкое, и только в том случае, когда речь идёт о

применении выборочного теста, цель которого —

«отсеять» слабых кандидатов из большого их числа,

применяются задания, обеспечивающие процент

хороших решений в границах 50-60%. Чтобы задание

сделать более трудным, надо повысить уровень его

вариативности [106, с. 369].

Как видим, вопрос о приемлемом для позитивной

оценки учащегося уровне решений заданий теста далеко

не однозначен. Установление селективности заданий

теста связано с внутренней валидностью теста, а

последняя — с его внешней валидностью, определяемой

по целому ряду оснований.

Когда речь идёт об отдельном тестовом задании, мы

решаем только проблему целесообразной гомогенности

180