Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 301

Их может быть несколько и они могут находиться в

достаточно сложной взаимосвязи. Поэтому нужны не

только моделирование системы критериев, но и их

типологизации.

Методология типологизации внешних критериев, как

нам представляется, не только в дидактической

диагностике, но и в психодиагностике находится ещё в

зачаточном состоянии, но некоторые подходы уже

сложились.

А. Анастази отмечает необходимость различать об-

щие критерии (показатель успеваемости, достигнутый

уровень образования, результаты специальной подготов-

ки), а также промежуточные и конечные критерии. У

лётчиков военных бомбардировщиков конечным крите-

рием было бы выполнение боевых заданий, которые они

могут и не получить в течение всей своей авиационной

карьеры [7, с. 134].

Возможно ли во всех случаях выделение единствен-

ного или главного критерия?

Теоретически — да, на основе моделирования и пост-

роения конструкта системы внешних критериев, в кото-

рых один из них может быть системообразующим. Так, по

крайней мере, следует из философских концепций си-

стемного подхода и, в частности, из теории саморазвива-

ющихся систем. А на практике это лучше бы исследовать

в методологических экспериментах.

К.М. Гуревич на основе анализа американских работ

по диагностике профпригодности полагает, что даже для

работы посыльного в транспортной конторе не удалось

выделить единый критерий успешности деятельности, а

связи пяти выделенных критериев оказались слабы. Так

что проблема поиска и выделения релевантных критериев

далеко не проста [44 с. 113].

Второе требование к внешнему критерию (по К.М. Гу*

ревичу) — это свобода от контаминации критерия.

В «Словаре иностранных слов» контаминация (от лат.

contaminatio) означает смешение двух или нескольких

Ч А С Т Ь В Т О Р А Я

событий при их описании или соединение текстов разных

редакций одного произведения [137, с. 248].

В тестологии этот термин имеет специфический

смысл.

А. Анастази считает, что контаминация критерия —

это создание такой исследовательской ситуации, когда

при определении валидности теста результаты

диагностики не сказываются негативно на статусе

испытуемого в его микросреде, учебной группе, бригаде

(например, через изменение оценки его деятельности и

отношения к нему руководителя, педагога). Лица,

проводящие критериальную оценку поведения

обследуемых при текущей валидизации, не должны быть

знакомы с результатами испытуемого. Необходимо, чтобы

тестовые результаты держались исследователем или

диагностом в секрете до тех пор, пока не будет

определена критериальная валидность теста [7, с. 133].

«Свобода от контаминации критерия» предполагает

важный процедурный аспект тестирования — общий для

психодиагностики и дидактической диагностики. Если к

тому же учесть, что при дидактическом тестировании ча-

ще всего обследуемые реально находятся в зависимости

от диагностов-педагогов, то строгость соблюдения требо-

вания «свободы от контаминации критерия» становится

этической нормой гуманистической педагогики и дидак-

тического тестирования.

При проведении критериальной валидизации как эм-

пирического исследования или методологического экспе-

римента необходимы организационные мероприятия. В

результате усложняется процедура критериальной вали-

дизации, но повышается качество и надёжность информа-

ции, достигается большая «чистота» эксперимента.

При представлении методики, при описании техноло-

гии её стандартизации желательно включать в описание

(и руководство к тесту) сведения о мерах, которые были

предприняты для обеспечения «свободы от контаминации

критерия».

302

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 303

Слабым местом тестологии К.М. Гуревич справедливо

считает исходную предпосылку, что успехи в тесте долж-

ны соответствовать (прямо пропорционально) профессио-

нальным успехам. Никто не предполагает, что тест,

состоящий из определённых задач, измеряет психическое

качество от нуля до максимума. В психодиагностике нет

нуля или он весьма условен.

К.М. Гуревич справедливо отмечает, что полученный

нулевой результат по тесту может не совпадать с ну-

левым уровнем изучаемого свойства. А полное решение

теста, очевидно, нельзя считать пределом потенциальных

достижений человека. «При прямолинейной корреляции

эти соображения игнорируются, но не исключено, что для

успеха достаточно обладать свойствами на уровне 40%

решения задач теста (скорость чтения для почтальона

малозначима — лишь бы умел прочитать адрес). Более

высокий уровень развития функции может даже в ряде

случаев мешать производственному процессу» [44, с.

116].

В дидактическом тестировании, похоже, ситуация

аналогичная или весьма близкая, особенно в тестах, свя-

занных с гуманитарными и общекультурными ценностями.

В какой степени процент решения тестовых заданий в

методиках различного типа и диагностического уровня

действительно коррелирует с конечной успешностью дея-

тельности — могут показать только фундаментальные ис-

следования, связанные с диагностикой результатов обу-

чения по разным технологиям.

ТЕКУЩАЯ И ПРОГНОСТИЧЕСКАЯ

КРИТЕРИАЛЬНАЯ ВАЛИДИЗАЦИЯ

При критериальной валидизации «Нормы Американ-

ской психологической ассоциации» в зависимости от вре-

менной связи между критерием и тестом различают теку-

щую и прогностическую валидность. Последняя связана с

возможностью прогноза поведения через определённый

промежуток времени [7, с. 132].

Ч А С Т Ь В Т О Р А Я

В дидактических тестах, как считает Г. Витцлак, в

прогностической валидности внешним критерием явля-

ется прогноз успеваемости и поведения учащегося — на-

пример, по результатам вступительных экзаменов [119?

с. 133].

Вопрос об оптимальных сроках сохранения прогнос-

тических возможностей тестов в психодиагностике явля-

ется открытым и мало исследованным. А для педагогиче-

ского тестирования он имеет принципиальное значение.

Если критериальная валидизация проводится для до-

пуска студентов к лабораторным работам по химии, физи-

ке, металлографии на дорогом оборудовании или для от-

бора лучших возможных исполнителей предстоящей про-

фессиональной деятельности, текущая критериальная

валидность покажет возможную сегодня степень потен-

циальных ошибок отбора (по сравнению со случайным от-

бором). И чем обоснованнее подобран критерий, тем выше

должна быть степень надёжности отбора.

Слабое место текущей валидизации в дидактическом

тестировании — то, что при ней не учитывается фактор

дообучения, возможности мобилизации учащимся или

опытными педагогами резервов мышления, воли и памя-

ти, работоспособности обследуемых. Возможно, в бли-

жайшее время всё это может быть реализовано самим об-

следуемым (подсмотрел или нашёл нужную ассоциацию

— и вспомнил то, без чего не удалось выполнить серию

заданий).

Текущая валидность — суровая проза сиеминутной

жизни с быстро уходящими поездами удачи. Иное дело —

прогностическая валидность.

К. Ингенкамп пишет, что валидность прогноза (как он

называет критериальную прогностическую валидность)

позволяет вычислить взаимосвязь между данными,

полученными в ходе ранее проведённого исследования, и

поведением, наблюдаемым позднее. В качестве примера

приводится прогноз успеваемости учащихся в

специальной высшей школе. При этом высказываются се-

рьёзные сомнения в валидности измерения данного кри-

304

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 305

терия экспертными оценками преподавателей различных

специальных высших школ. Вера в надёжность методик,

обоснованных таким образом, по мнению К. Ингенкампа,

Может привести к созданию методов обучения и контроля,

оказывающих лишь стабилизирующее воздействие на

существующее положение, но не стимулирующих про-

гресс в образовательных технологиях [28, с. 42].

Как видим, оба вида критериальной валидности теста

полностью, но по-разному «работают» в системе дидакти-

ческого тестирования.

Специфика ситуации заключается в том, что в реаль-

но протекающем процессе обучения (с систематическим

закреплением и углублением знаний учащихся на основе

многогранных межпредметных и внутрипредметных свя-

зей) будет нарастать значение прогностической критери-

альной валидности.

Для методологии дидактического тестирования оба

вида критериальной валидности важны, но в разных ас-

пектах.

Если создан дидактический тест, то надо знать, как

он коррелирует с фиксируемыми другими методами оце-

нивания успехами или неудачами обследуемых. Текущая

критериальная валидность вместе с конкурентной валид-

ностью этого же теста показывают, насколько они как

средство диагностики лучше (или хуже) других методов

оценивания успешности обследуемых. Могут ли те, кто

правильно ответил на тест о составлении химического

раствора, столь же успешно это делать в лаборатории.

В условиях систематического применения тестов для

контроля качества знаний вопрос о неуспеваемости или

отличной успеваемости более чётко может быть сформу-

лирован как вопрос о недостаточной или избыточной про-

гностичности одного теста относительно второго. «При-

чинами погрешностей прогноза в конкретных случаях яв-

ляются ненадёжность методик измерения, различия в их

содержании, влияния на два способа измерения тех или

иных мотивационных факторов и факторов способностей,

Ч А С Т Ь В Т О Р А Я

а также воздействия таких моментов, как выздоровление

или длительная болезнь испытуемого» [8, с. 39].

При прогностической критериальной валидизации мы

имеем дело с другим аспектом — с предсказанием ус-

пехов. И здесь появляется фактор «долговременности»

прогноза: успех через неделю и успех через семестр,

через

од, после выпуска — особенно в профпедагогике

совершенно разные вещи, если учитывать факторы

обучаемости личности.

Прогностическая критериализация валидности (поиск

и подбор внешних критериев) при дидактическом те-

стировании оказывается более сложной, чем при психо-

диагностическом профотборе. Дело в том, что здесь мы

имеем дело с опосредующим фактором.

При дидактическом тестировании мы изучаем успеш-

ность учебных достижений, которые отнюдь не равны

профессиональным. Учебные успехи (как и учебные про-

граммы) лишь отражают, более или менее адекватно, воз-

можные профессиональные достижения в будущем (на

практике или после выпуска). Многое зависит от дина-

мизма учебных программ — адекватно ли в них отражена

профессиональная реальность и требуемые от сегодняш-

него и завтрашнего профессионала знания, умения и на-

выки.

Прогностические возможности (и прогностическая

валидность) тестов для профотбора, используемых в сис-

теме профобразования, бывают весьма различны. А. Ана-

стази приводит данные о тесте для поступления на

юридический факультет [LSAT], который применялся в

США с 1948 г. на основе единой национальной программы

общественно-политической подготовки учащихся и общих

требований колледжей к поступающим. Задания включа-

ют понимание и запоминание прочитанного, применение

закона к конкретному случаю, интерпретацию данных. В

сочетании с отметками по неправовым предметам в сред-

ней школе этот тест даёт корреляцию с оценками перво-

курсников 0,36, а с выпускниками 0,45. Но для разных 25

изученных с помощью этого теста контингентов сту-

306

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 307

дентов юридических факультетов коэффициенты валид-

ности имели разные значения (влияла локальная валид-

ность, о которой речь пойдёт далее).

Западный педагог, выбирающий тест для своих спе-

цифических целей, должен определить, каким показате-

лям (прогностической или текущей валидности) надо от-

дать предпочтение, если один из них выше, а другой ни-

же. Наши пользователи пока не задумываются над этими

проблемами.

Разработчики не публикуют данные валидизации и

надёжности теста. Видимо, потому, что эта работа не про-

водится ими. Тесты же рекламируются, продаются и вы-

бирающие их пользователи исходят, прежде всего, из оче-

видной валидности.

Для оперативной диагностики в целях своевременной

коррекции возможных отклонений особое значение будет

иметь текущая валидность дидактических тестов, по

нашему мнению, тестов рубежного и текущего контроля

знаний.

А.> Анастази отмечает, что текущая валидность в

ряде случаев точнее отвечает существу решаемых задач.

Она используется в тестах, оценивающих фактическое

положение обследуемого, и при этом является более

дешёвым и оперативным средством сбора критериальных

данных, чем длительные наблюдения [7, с. 132]. Текущая

валидность может в дидактическом тесте рубежного

контроля предсказать, насколько серьёзно общее

отставание учащихся от необходимого уровня усвоения

знаний и умений с точки зрения профессиографических и

психографических требований.

При подготовке к ответственным экзаменам (курсо-

вым, государственным экзаменам, вступительным экза-

менам в вузы или колледжи), когда разрыв во времени

между проведённым и предстоящим тестированием неве-

лик, текущая валидность диагностически более значима.

Она определяет ожидаемую степень возможного успеха,

если у учащегося сохраняется на оставшийся период до-

стигнутый уровень знаний (умений, психического свойст-

Ч А С Т Ь В Т О Р А Я

ва). То есть она сможет в определённой степени выпол-

нить и прогностическую функцию.

При тестировании выпускников школ, ПТУ, вуза для

их отбора к обучению на последующей, более высокой

ступени образования (или в магистратуру, в аспирантуру)

текущая валидность также будет иметь прогностическую

направленность.

А. Анастази отмечает ещё один случай, когда текущая

валидность заменяет прогностическую. «Часто прак-

тически невыгодно слишком затягивать валидизацию, без

которой невозможно установить прогностическую ва-

лидность или сформировать предварительную выборку,

соответствующую целям тестирования. Поэтому в качест-

ве компромиссного решения тесты проводятся на груп-

пах, для которых уже имеются критериальные данные.

Например, результаты тестирования студентов срав-

ниваются с их успеваемостью, результаты тестирования

служащих — с их успехами на производстве» [7, с. 132].

Текущая критериальная валидность в дидактическом

тестировании должна особенно учитываться при ва-

лидизации тестов по социокультурным дисциплинам

(знания мировой и отечественной культуры, истории, фи-

лософии, теоретических разделов экономики, многих

разделов психолого-педагогических дисциплин). Для этих

дисциплин трудно найти адекватные прогностические

критерии в окружающей студента «большой жизни».

Доминировать она будет и при проверке тестов ру-

бежного контроля по большинству теоретических разде-

лов спецдисциплин (в учреждениях профессионального

образования) — во всех случаях, где усвоенные знания не

могут непосредственно использоваться в будущей, про-

гнозируемой в перспективе практической деятельности.

Критерием и здесь может быть решение теоретических

задач не на практике, а в других формах контрольных

заданий (предпочтительно — комплексного характера, но

с предельно чётко выделенными составляющими).

Прогностическая валидность, не заменяя текущую, а

параллельно ей проводящаяся в долговременном методо-

308

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 309

логическом эксперименте (лонгитьюде), необходима при

прогнозировании успешности усвоения прикладных раз-

делов знаний и умений. То есть тех, которые можно про-

верить на лабораторно-практических занятиях (по хими-

ческому анализу, методике преподавания, применению

алгоритмов сборки и ремонта оборудования). Более того,

особенностью бывшей советской системы образования яв-

лялась сопряжённость учебных планов и программ, их

прочная и достаточно хорошая стыковка при циклическом

построении (школьная физика почти по тем же разделам,

но на более сложном структурном уровне изучается в

вузе). В целом это — позитивный фактор сохранения еди-

ного образовательного пространства.

Поэтому для нас особенно важно, что прогностичес-

кая валидность имеет значение в дидактическом тестиро-

вании при оценке возможной успешности обучения (при

предметной системе) на следующей ступени образования:

для тестов, предназначенных средней группе классов об-

щеобразовательной школы, прогноз будет нацелен на

старшие классы и вуз. В тестах для старшеклассников —

вектор прогноза будет ориентирован на вузы или сравни-

тельно несложные виды профессиональной деятельности,

для вузовских тестов прогнозирование будет связано с

профессиональным дебютом.

МЕТОДЫ КРИТЕРИАЛЬНОЙ ВАЛИДИЗАЦИИ

Наиболее распространёнными общими критериями

являются результаты профессиональной подготовки и

качество выполнения реальной деятельности. В условиях

дидактического тестирования их далеко не всегда уда-

ётся сразу проверить именно на том контингенте, кото-

рый тестировался. Приходится довольствоваться более

доступными результатами деятельности, в какой-то сте-

пени имитирующей профессиональную на лабораторно-

практических занятиях или учебных практиках.

В профобучении, например, большое внимание уде-

ляется во многих специальных дисциплинах деятельности

Ч А С Т Ь В Т О Р А Я

по предотвращению или преодолению аварийных си-

туаций. Но вряд ли кому-то в вузе придёт в голову поджи-

гать институт, чтобы проверить усвоение студентами пра-

вил гражданской обороны.

Реалистическая проза XX века и научная фантастика

приводят описания возможных моделей поведения людей

в реальных и воображаемых кризисных ситуациях (от

ройны и массовых эпидемий до вторжений инопланетян),

рыводы в большинстве случаев неутешительны для чело-

вечества. В Спитаке, а еще ранее — в Ташкенте во время

сТ

рашных землетрясений были тысячи людей, прошедших

успешно курсы гражданской обороны. Все ли они

Придерживались известных им правил?

Метод контрастных групп

Метод контрастных групп связан с предварительным

отбором обследуемых, наиболее успешно и наиболее не-

удачно выполняющих какую-либо диагностируемую дея-

тельность (учёбу, торговлю, ремонт оборудования и т.п.).

Затем сопоставляются их результаты по всем субтес-

там, заданиям, дистракторам теста и по тесту в целом.

А. Анастази считает, что «валидизация методом кон-

трастных групп обычно влечёт за собой сложный крите-

рий, в котором отражены накапливающиеся и

неконтролируемые избирательные влияния повседневной

жизни. Такой критерий в конечном счёте связан с

принадлежностью или непринадлежностью индивида к

определённой группе». Имеется в виду специфический

образ жизни, особенности макрогруппового мышления и

мировосприятия — как, например, было бы при

валидизации результатов обследования по тесту на

ассоциативное мышление или творческое воображение

учащихся музыкальной и обычной средней школы. Этот

метод часто применяется при валидизации личностных

тестов, при разработке шкал социальных и

профессиональных установок [7, с. 135].

310