Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ

пытуемого в обстановке тестирования. Обязательно сле-

дует указывать, в каком интервале времени она измеря-

лась и произошли ли за этот период с испытуемыми ка-

кие-либо значимые события, способные повлиять на ре-

зультаты тестирования.

Возможен целый ряд коэффициентов ретестовой на-

дёжности. Но считается, что интервал между двумя по-

следовательными применениями теста не должен превы-

шать 6 месяцев.

В дидактических тестах на ретестовую надёжность

влияет как процесс тренинга, так и обучаемость обследу-

емых.

В исследованиях под руководством Ю. Гутцке и У.

Воларба в качестве психодиагностического сопровож-

дения диагностической обучающей программы приме-

нялся стандартизированный опросник для учителей (о

помощи, которая нужна ученикам при решении различ-

ных комплексных задач).

Опросник проверялся ретестом на надёжность через

7 недель и показал для классных руководителей г = 0,88,

а для учителей математики г = 0,89 [106, с. 184].

5.2. НАДЁЖНОСТЬ ВЗАИМОЗАМЕНЯЕМЫХ

(ПАРАЛЛЕЛЬНЫХ) ФОРМ

Надёжность взаимозаменяемых форм упрощает из-

мерение ретестовой надёжности. Это корреляция между

двумя считающимися равноценными формами одного и

того же теста (их называют ещё параллельными, взаимо-

заменяемыми, эквивалентными, сопоставимыми, дубли-

рованными, подобными).

Такой коэффициент надёжности одновременно

измеряет временную стабильность теста и

согласованность ответов по двум формам (выборам

заданий).

Ч А С Т Ь В Т О Р А Я

Только если оба варианта теста следуют один за

другим, можно в более или менее «чистом» виде

получить надёжность форм теста относительно друг

друга (без отражения фактора времени). Как и в первом

случае, следует указать интервал времени проведения

сеансов тестирования.

Параллельные формы теста могут быть независимо

построенными тестами, отвечающими одним и тем же

требованиям: содержать одинаковое число заданий,

представленных в одной форме и с однотипным

содержанием, с одинаковым диапазоном и уровнем

трудности. Недостатки надёжности взаимозаменяемых

форм связаны с рядом факторов.

К ним относятся, в первую очередь, подверженность

диагностируемых знаний и умений тренировке в самом

процессе дидактического тестирования (первоначальный

сеанс), а также возможность дообучения. В дидактичес-

ких тестах это обычное явление, нередко —-

инициированное добросовестными педагогами, не

желающими, чтобы их воспитанники предстали перед

экспериментаторами в худшем виде, чем могли бы.

Конечно, разная степень мотивированности испытуе-

мых также может привести к получению довольно разли-

чающихся результатов у подгрупп учащихся внутри еди-

ного класса или студенческой учебной группы, выбран-

ной для апробации теста.

Чтобы избежать эффекта переноса одного

найденного

испытуемым приёма решения тестовых заданий на дру-

гие похожие внешне задания «параллельного» теста, не-

редко меняется форма его предъявления. Но такие изме-

нения не должны быть слишком кардинальные, так как

это повлияет на результаты. Особенно если новая форма

предъявления задания в параллельной форме теста

будет

непривычной для учащихся или ранее мал ©применяв-

шейся в текущем контроле знаний. , ;

212

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ

На сопоставимость проверяются также инструкции,

временные рамки работы испытуемого с тестовыми

заданиями, формат бланков. По мнению А. Анастази,

«применение взаимозаменяемых форм или разного

уровня тестов достижений до и после прохождения

курса обучения даёт более точный анализ

индивидуальных достижений, чем использование двух

разных тестов» [8, с. 40].

Мы считаем, что в дидактическом тестировании

именно надёжность взаимозаменяемых форм в боль-

шинстве случаев будет наиболее распространённой фор-

мой проверки качества тестов. Тем более что российским

педагогам она хорошо знакома по многократно прово-

дившимся ими контрольным работам с несколькими

уравновешенными по степени сложности вариантами.

Перенос опыта составления таких контрольных работ на

создание взаимозаменяемых форм дидактических тестов

происходит, по нашим наблюдениям, сравнительно

легко*

5.3. МЕТОД РАСЩЕПЛЕНИЯ ПРИ ПРОВЕРКЕ

НАДЁЖНОСТИ ТЕСТА

Метод расщепления используется психологами,

когда существует единственная форма теста. Тест разби-

вается на две сопоставимые части и испытуемый получа-

ет два результата. Эта мера согласованности выборок со-

держания позволяет получить коэффициент внутренней

согласованности. При её применении затруднения раз-

работчиков связаны с различиями в уровне трудности

заданий. Если они расположены в порядке возрастания

трудности, то достаточно эквивалентные «половинки»

теста можно получить, разбивая задания на чётные и не-

чётные.

Сложнее, если тест содержит блочные,

взаимосвязанные задания (несколько вопросов касается

фрагмента текста или диаграммы, а аналогичные

Ч А С Т Ь В Т О Р А Я

задания не повторяются). Каждая такая группа заданий

должна быть отнесена к какой-либо половине целиком и

уравновешена заданиями аналогичной сложности.

Следует учитывать, что коэффициенты корреляции здесь

будут относиться только к половине теста.

П.Ж. Рюлон разработал формулу определения на-

дёжности методом расщепления:

где G

— дисперсия разностей между результатами каж-

дого испытуемого по обеим половинам теста, а а

— дис-

персия суммарных результатов.

Для получения сведений о надёжности целого теста

используется формула Спирмена—Брауна

где г

— эмпирически рассчитанная корреляция для по-

ловин, а т

хх

— надёжность целого теста.

В дидактическом тестировании этот метод определе-

ния надёжности подходит, на наш взгляд, для сравни-

тельно гомогенных по форме тестов, содержащих

задания примерно одного уровня сложности. Он будет

более эффективен и для перепроверки надёжности

внутри гомогенных по форме субтестов или в тестах

текущего контроля знаний.

Разработчик столкнётся скорее не с техническими

трудностями, а с методологическими — как

уравновесить задания из близких, но различных по

содержанию разделов знаний, для того чтобы отобрать

одни из них в одну половину. При этом надо постараться

избежать такой ситуации, когда вопрос (в тесте по

физике) из области механики попадёт в одну половину

теста, а в другой будет вопрос по оптике — это слишком

214

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ

разные тематически, вну-трипредметно слабо связанные

вопросы, которые нельзя считать равными даже при

одинаковых формах построения и уровне трудности,

сложности, селективности. Если такое произойдёт —

половины теста не будут равны, так как в каждой из них

получится перекос относительно программной

(куррикулярной) валидности теста как целостной

методики. А её надо стремиться сохранить в каждой

половине теста.

5.4. МЕТОД КЬЮДЕРА—РИЧАРДСОНА ПРИ ПРОВЕРКЕ

НАДЁЖНОСТИ ДИДАКТИЧЕСКОГО

ТЕСТА

Метод Кьюдера—Ричардсона также основан на одно-

кратном применении теста. Его можно использовать, ког-

да выполнение заданий осуществляется только как «пра-

вильное —- неправильное» (принцип «всё или ничто»).

Чем однороднее задания теста, тем выше

согласованность результатов. Но такие тесты

сравнительно редки — обычно дидактический тест

содержит задания разного типа. Особенно ^- тесты

итогового контроля, селекционные тесты в системах

профессионального обучения и профотбора. Для

разнородных по характеру заданий тестов применяется

формула:

где Гц

коэффициент надёжности всего теста, п — число

заданий^ <J

— стандартное отклонение суммарных

показателей теста, р и q —~ доля испытуемых,

соответственно справившихся с каждым заданием

(которые перемножаются по каждому заданию, а потом

суммируются).

Ч А С Т Ь В Т О Р А Я

Коэффициент Кьюдера-Ричардсона обычно бывает

меньше полученного методом расщепления.

Для тестов, в которых испытуемый набирает баллы

за ответы разной степени полноты и правильности (на-

пример, 4 — за «обычно», 3 — «иногда», 2 — «редко»,

1 — «никогда» или по аналогичной шкале), имеется

обобщённая формула коэффициента а:

где Х

л-1 — эмпирическое значение статистики (кси-ква-

драт) с п-1 степенями свободы, k — количество пунктов,

п — количество испытуемых, а — надёжность [53, с. 70].

Стандартизация и компьютеризация дидактических

тестов в основном уравнивают условия тестирования и

способствуют повышению надёжности тестов.

Метод Кьюдера—Ричардсона — это как раз тот вари-

ант, который может быть использован в гетерогенных по

форме построения тестах итогового и рубежного контро-

ля, в сложных тестах «входной диагностики» и тестовых

батареях этиологической и типологической диагностики,

для тестовых заданий альтернативного характера. Веро-

ятно, его целесообразно использовать скорее всего не

как основной метод проверки надёжности (для этого

больше подходит надёжность взаимозаменяемых форм),

а как контрольный при перепроверке надёжности тестов

повышенной степени значимости (с точки зрения

Здесь находится дисперсия

индивидуальных результатов по каждому

заданию с последующим их суммирова-

нием.

216

Для оценки статистической значимости

коэффициента а для проверки надёжности теста с 50-х

гг. используют в тестологии формулу Дж. Китса

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ

важности для личности решений диагноста,

принимаемых на основе этих данных).

5.5. НАДЁЖНОСТЬ ТЕСТА НА СКОРОСТЬ

Для многих дидактических тестов чрезвычайно важ-

на скорость выполнения заданий (особенно если они

моделируют профессиональные ситуации, где

необходима скорость принятия решений). Большинство

тестов, применяемых для проверки знаний и умений,

одновременно являются и скоростными.

При этом в одних случаях ограничивается во времени

только весь сеанс тестирования, в других — работа по

каждому из субтестов, в третьих — задаётся и жёсткий

режим работы «по времени» и для отдельных тестовых

заданий. Таким, в частности, является известный амери-

канский тест TOEFL (на знание английского языка лак

иностранного), по которому во всем мире и у нас в России

отбираются абитуриенты, желающие учиться в амери-

канских вузах (а также и многие другие отборочные тес-

ты).

Время выполнения одного задания в скоростных ди-

дактических тестах может быть разное. Обычно оно ко-

леблется от 30 до 60 секунд, но может быть и меньше.

1ак, при выполнении некоторых заданий американских

отборочных тестов для поступления в вузы оно составля-

ет 17 секунд. Причем тест составлен так, что по

истечении этого времени в автоматическом режиме

следует другой вопрос, над которым обследуемый обязан

работать независимо от того, насколько он приблизился

к ответу на предыдущий, даже если он его в основном

выполнил.

Создатель теста или тот, кто адаптирует чужой или

переводной тест такого типа, должен знать пропорцию,

в которой находятся скорость и качество выполнения

теста в целом, его субтестов, отдельных особо значимых

тестовых заданий.

Ч А С Т Ь В Т О Р А Я

Перед разработчиком встаёт проблема

согласования заданий на скорость. Без такой

согласованности коэффициенты надёжности,

основанные на количестве допущенных ошибок,

окажутся явно завышенными на определённую величину.

И она будет тем значимее, чем больше успешность

выполнения заданий зависит от скорости работы

испытуемого.

Для проверки надёжности тестов на скорость счита-

ются более эффективными метод ретеста и метод

взаимозаменяемых форм. Применяются также приёмы

разделения полного времени выполнения теста на

четыре части с регистрацией результатов отдельно для

каждой четверти. Для этого можно попросить

обследуемых по сигналу отметить определённым знаком

выполняемое задание теста.

Фиксировать затраты времени может помощник ор-

ганизатора тестирования.

Считается, что для приблизительной меры значимос-

ти скоростного компонента в комплексе тестов может

быть взят процент испытуемых, не успевших закончить

тест за отведённое время. Но, как показывают данные

специальных методологических исследований, возможна

ситуация, когда никто не уложился в заданное время, хо-

тя фактор скорости здесь ни при чём.

Скоростной подход к составлению дидактических те-

стов в большинстве случаев, по нашему убеждению, —

это не объективная потребность методологии разработки

теста как диагностической методики, а следствие

автоматического переноса из 30-60-х гг. в современное

дидактическое тестирование технологии составления

тестов профотбора, хорошо зарекомендовавшей себя для

этих целей. Но... малопригодной для многих

дидактических тестов, так как для выполнения многих

типов заданий время, затраченное учащимся на решение

тестовой задачи или ответ на вопрос, не является

функциональной характеристикой деятельности

218

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ

испытуемого — как его сегодняшней учебной

деятельности, так и коррелирующей с тестом (часто

очень условно) критериальной, практической, близкой к

профессиональной.

То, что хорошо для отбора пилотов самолёта и води-

телей автотранспорта, — не всегда благотворно для уче-

ника. Разумеется, учебный процесс ограничен во време-

ни — все учебные планы и программы рассчитаны на оп-

ределённые часы, которые легко переводятся в минуты

и секунды. Но современная гуманистическая концепция

построения педагогического процесса требует

индивидуализации всех звеньев обучения, в том числе —

и контроля.

Там, где тест напрямую не связан критериально с

функционально необходимыми ограничениями видов ра-

бот (которые контролируют и отчасти имитируют тесто-

вые задания), нет необходимости вводить фактор

времени как ведущую характеристику оценивания

деятельности испытуемого. Скажем, в тестах,

проверяющих результаты трудового обучения, она

целесообразна, так как выполнение определённых

трудовых операций имеет свои установленные

нормативы во времени (но в тех случаях, , когда они

проверены экспериментальным путём, а не взяты «с

потолка», что нередко бывает).

Время выполнения заданий может оказаться важным

при проверке лабораторно-практических умений по хи-

мии, физике, электротехнике и т.п. Но по истории, лите-

ратуре — введение ограничений во времени во многих

случаях проблематично и подобные тесты надо либо

перестроить, либо экспериментально установить такие

нормативы, в которые могли бы укладываться и

сангвиники, и флегматики — ведь у каждого из них свой

индивидуальный стиль деятельности.

Вопрос о связи интеллекта со скоростью выполнения

операций при тестировании очень непрост и в настоящее

время психологи снова вернулись (со времен Сирила Бер-

Ч А С Т Ь В Т О Р А Я

са — основателя британской тестологии) к его

исследованию. Многое здесь предстоит ещё сделать [45;

48].

Пока что ряд известных психодиагностов считает,

что в большинстве тестов учебных достижений и в диа-

гностико-коррекционных программах ограничения об-

следуемого во времени выполнения теста лучше снимать

[7; 8; 103]. Мы с такой позицией полностью согласны,

кроме того, считаем, что надо не просто снимать, а

фиксировать, учитывать как дополнительный

психодиагностический фактор, а не как ведущий фактор

оценки результатов тестового испытания.

5.6. НАДЁЖНОСТЬ ТЕСТОВЫХ ЗАДАНИЙ

Надёжность теста в целом определяется

надёжностью включённых в него тестовых заданий.

Особенностью её является зависимость от типа этих

заданий — строятся ли они как альтернатива «решил —

не решил» (сырой балл в первом случае — ноль во

втором) или как имеющие в оценочной основе шкалу

(например, ранговую —по степени правильности

ответа, его приближённости к эталонному).

Как отмечает А.Г. Шмелёв, чтобы повысить ретесто-

вую надёжность, надо отбирать из первоначального,

апробируемого варианта теста те задания, на которые

испытуемые дают устойчивые ответы. Для тестовых

заданий, решаемых по принципу альтернативы, он

предлагает измерять устойчивость с помощью

четырёхклеточной матрицы сопряжённости [103, с. 71-

74].

В клеточке А суммируется частота верных ответов,

данных испытуемым (одним и тем же) при 1 и 2 сеансах

тестирования, В В ^- число случаев, когда при первом те*

сте испытуемый отвечал верноj при 2 — неверно и т.д. В

качестве меры корреляций вычисляется фи^коэффи-

циент:

220