Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 331

можно диагностировать в реальной деятельности работ-

ника-профессионала.

Качественно по-иному может быть интерпретирован

тот же уровень баллов, полученный по тому же тесту зна-

ния общей химии у 40-летного студента-заочника, кото-

рый уже 15 лет работает инженером-практиком (масте-

ром цеха) на производстве и только второй год учится в

вузе.

Здесь, кроме всего, о чём говорилось выше, получен-

ный показатель по тесту характеризует ещё и фактор

«вторичной обучаемости». В отличие от студента дневно-

го отделения заочник (вечерник) прекрасно знает, в каких

реальных производственных ситуациях ему нужна эта

химия и ответы он дает, исходя не только из учебных,

12 - 2976

но и из производственных знаний. Уровень и глубина

производственных практических знаний и мотивация

выбора того или иного варианта ответа на задание теста

у него, у только что окончившего школу и у преподавате-

ля — разработчика теста не одинаковы. Особенно если

последний всю жизнь провёл в вузе, пройдя путь по схе-

ме: студент — аспирант — преподаватель. Тем более ког-

да тест построен из заданий, включающих ответы разного

уровня полноты (с точки зрения разработчика).

Не исключено, что в отдельных случаях научная пол-

нота ответа на тестовое задание, проверяющее книжные

знания для практика-заочника, является смешной и не-

лепой, так как он исходит в своих размышлениях совсем

из другого понимания смысла данной задачи, лежащей в

основе тестового задания.

Все эти аспекты полностью предусмотреть при разра-

ботке и корректировке теста вряд ли возможно, хотя это

надо учитывать при валидизации теста по критерию и его

прогностическим показателям.

Дидактические тесты могут входить в качестве со-

ставляющих компонентов в системы профотбора. Напри-

мер: при отборе работающих специалистов для дальней-

Ч А С Т Ь В Т О Р А Я

шего профобучения за рубежом или для работы на новой

импортной технике, требующей определённого уровня

предметно-дисциплинарной подготовки. Или, как это

практикуется в современной высшей школе, при отборе

студентов дневного отделения для завершения обучения

в другом (обычно — более престижном или заграничном)

вузе или на следующую ступень обучения (в магистрату-

ру, аспирантуру, на стажировку с последующей подготов-

кой к преподавательской или научно-исследовательской

работе).

В этом случае усложняется структура и критерии

формирования самой выборки, из которой заранее исклю-

чаются обследуемые, наименее или наиболее слабые, или

же не подходящие по какому-либо иному показателю, в

том числе и по показателю, не имеющему прямой корре-

ляции с внешними критериями.

В прикладной психодиагностике для описания ука-

занной выше группы факторов используется понятие мо-

дератор.

Модератор — это некая характеристика группы лиц,

указывающая на прогностическую валидность теста при-

менительно именно к этой группе (например, учащиеся с

определёнными трудностями в обучении). Модераторами

могут быть демографические показатели, результаты

другого теста, мотивационные факторы (например, каче-

ство выполнения работы у заинтересованных в ней лиц

может быть выше, чем у более способных, но не имеющих

на момент обследования сильной позитивной мотивации).

Для выявления модераторов проводятся за рубежом

специальные исследования. При общей невысокой валид-

ности теста (например, 0,22) для определённой

подгруппы валидность этого же теста может быть в 3

раза выше. Результаты исследования модераторов обычно

действительны для условий, в которых они получены [7, с.

163-165].

Как отмечает А. Анастази, нередко валидность теста

слишком мала для всего контингента выборки, на которой

проходила валидизация. Но дополнительный анализ

332

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 333

локально-групповых факторов может показать, что для

определённой части этого контингента валидность доста-

точно высока — например, для женщин, для окончивших

школы с математическим уклоном и т.д.

Интересы, уровень мотивации учёбы или профессио-

нального самоопределения могут быть также использова-

ны в качестве модераторов-переменных, как и демогра-

фические факторы.

Весьма яркий пример влияния модератора А. Анастази

приводит со ссылкой на исследования Э. Гизелли (Е.Е.

Ghiselli, 1956). При обследовании водителей корреляция

между тестом способностей и критериальным вы-

полнением работы по внешним оценкам руководителей

предприятия была лишь 0,22. Но разбивка контингента

обследованных на подгруппы позволила установить, что

Для водителей, чьи интересы соответствовали работе, ва-

лидность составляла 0,664.

Исследование модераторов — перспективное направ-

ление разработки методологии дидактического тестиро-

вания, так как позволяет вводить поправочные коэффи-

циенты валидности.

Хронологические (временные) факторы

В понимании психодиагностов применительно к этим

факторам речь идёт об изменениях коэффициентов

корреляции в стабильных стандартизированных тестах в

течение определённого времени их применения для

конкретных контингентов (обычно несколько лет).

Напомним, что за рубежом предпочитают в течение

многих лет пользоваться привычными, «старыми» тестами

(да и другими методиками), по которым имеется в их

распоряжении множество полученных коэффициентов

критериальной, факторной, локальной, конкурентной

валидности. Такие тесты дают намного'больше сравни-

тельной информации, чем более диагностичные, но «мо-

лодые», по которым такие коэффициенты еще мало нара-

ботаны. За 30 лет в США (с 50-х до начала 80-х годов) сни-

Ч А С Т Ь В Т О Р А Я

зилась с 0,71 до 0,52 корреляция между прогностическим

показателем, основанном на тестах общенационального

Совета по вступительным экзаменам в колледж и успева^

емостью в старших классах, с одной стороны, и средним

баллом первокурсников — с другой. Из-за повысившихся

требований к приёму в колледж масса поступающих стала

более однородной, хотя точность прогноза успеваемости

осталась без существенных изменений [7, с. 151].

Совет по вступительным экзаменам в колледж —

очень авторитетная в США и во всём западном мире орга-

низация, фактически направляющая развитие высшего и

среднего специального образования Америки. Получен-

ные данные педагоги вузов США склонны интерпретиро-

вать как «посерение» и «усреднение» контингента абиту-

риентов и серьёзную опасность для развития интеллекту-

ального потенциала государства, науки и культуры [146].

В результате в Конгресс США был представлен и заслу-

шан национальный доклад и разработан комплекс кон-

кретных программ стимулирования талантов, создания

для способных детей из низших социально-экономичес-

ких слоев благоприятных условий для развития своих

способностей, активизирована работа по поиску и выра-

щиванию способных детей в США и привлечения талант-

ливой молодёжи со всего мира в вузы США [146].

Дидактические тесты (вместе с психодиагностически-

ми) в данном случае вовремя предупредили об опасности.

Для дидактических тестов в СНГ такая ситуация воз-

можна лишь в обозримом будущем. Переход вузов к рабо-

те в условиях рыночной экономики может по-разному

влиять на «планку приёма» и на модератор. Повышается

уровень требований к абитуриентам в вузах, получивших

международные или республиканские сертификаты каче-

ства образования и выдающие нострифицированные дип-

ломы (то есть признаваемые крупными промышленными

компаниями и за рубежом). Опускается же «планка при-

ёма» у региональных вузов, переходящих на статус мест-

ных и теряющих профессиональный престиж из-за мед-

ленной перестройки на новые, популярные специальнос-

334

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 335

ти, ухудшения кадрового состава преподавателей, сниже-

ния конкурса поступающих, слабо поставленной рекламы

своих реальных достижений. Кстати, аналогичная си-

туация в течение последних трёх десятилетий

наблюдается и в вузах США, но там её можно проследить

по публикующимся ежегодно данным о рейтингах вузов

по специальностям (точнее, профилям подготовки).

В России такие рейтинги по педагогическим вузам в

целом (без учёта специальностей) стали просчитываться

только в начале 90-х годов, но распространение этой ин-

формации ограничено.

В настоящее время отечественная дидактическая ди-

агностика не располагает достаточно надёжной й валид-

ной, общепризнанной системой отбора лучших абитури-

ентов в вузы и другие профессиональные учебные

заведения. Для её создания нужны крупномасштабные по

объёму выборки массовые диагностические обследования

и методологические апробационные эксперименты, кото-

рые пока не проводятся.

Использование переводных тестов оказалось мало-

продуктивно из-за слишком существенных различий в

базовых црограммах предварительного обучения уча-

щихся в средних школах и в самих системах образования.

Пришлось создавать свои национальные тесты отбора

абитуриентов.

В какой степени хронологический фактор может сра-

батывать в переводных тестах (даже если их удастся

хорошо адаптировать к российским условиям), трудно

определить без специальных методологических

исследований. А трудозатраты на них вряд ли будут

намного меньше, чем при создании своих национальных

диагностических комплексов для отбора в вузы,

колледжи.

Очевидно, что хронологический фактор, если удастся

его просчитать, будет «наслаиваться» на локально-

групповые факторы и этнокультурные. Анализы

результатов вступительных экзаменов (равно как и

выпускных, переводных в средней школе) необходимы

Ч А С Т Ь В Т О Р А Я

уже сейчас, хотя бы по тем системам контрольных

вопросов и заданий, которые ныне применяются. Скорее

всего, учитывая высокую стабильность базовых учебных

планов и программ в России и в государствах СНГ, именно

эти задания и станут основой той системы

диагностического отбора, которая, рано или поздно,

будет создана и у нас на базе состыковки международных

и отечественных систем отбора в вузы и колледжи.

Учёт же хронологического фактора покажет динами-

ку изменений контингентов обучающихся на разных сту-

пенях образования и позволит своевременно принимать

меры, направленные на качественное изменение ситуа-

ции в государственном масштабе.

Учёт формы зависимости между тестом и критерием

Необходимым условием методологически грамотной

интерпретации коэффициента валидности является учёт

формы зависимости между тестом и критерием.

Применение коэффициента корреляции Пирсона це-

лесообразно в том случае, когда зависимость между тес-

том и критерием постоянна, линейна и остаётся одной и

той же по всему диапазону значений шкалы критериаль-

ного признака.

Например, глубина знаний по математике и способ-

ность решать задачи программирования всевозрастающей

сложности. С одной стороны, это тест, измеряющий

математические знания. А с другой — критерий деятель-

ности как показатель профессионального роста програм-

миста, что в принципе может быть бесконечным в услови-

ях непрерывного самообразования (составляющих про-

фёссиографические требования к деятельности програм-

миста).

Возможна и качественно иная ситуация, удачный

пример которой приводит А. Анастази. «Пусть для вы-

полнения некоторой работы требуется лишь минималь-

ный уровень понимания читаемого, достаточный для про-

чтения инструкций, названий и т.д. Но как только этот

336

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 337

минимальный уровень превзойдён, то от дальнейшего

развития данного умения успешность выполнения работы

уже не зависит, т.е. между тестом и работой существует

нелинейное отношение. Проверка двумерного распре-

деления или диаграммы рассеяния, построенной по пока-

зателям теста на понимание читаемого и критериальных

мер, выявила бы, что уровень выполнения работы растёт,

пока умение понимать читаемое не достигает требуемой

степени, после чего он остается примерно тем же. Следо-

вательно, точки на диаграмме скорее сгруппируются во-

круг кривой, а не прямой линии» [7, с. 152].

Вероятна и такая ситуация, когда от общего уровня

обучаемости, достигнутого учащимся, усвоение какого-

либо предмета зависит лишь частично. Скорее всего это

будет «нетипичный» предмет (или его существенные

разделы), для которого общеучебные умения и навыки

труда школьника (студента) будут сравнительно мало-

значимыми, а главным будет то специфическое, что в нём

заложено. Можно ожидать, что оригинальные фа-

культативы или нестандартно построенные программы

авторских курсов традиционных предметов обучения в

средней школе попадут как раз в такую группу учебных

дисциплин.

Обучаемость (или базовый уровень подготовки по это-

му же предмету по тестам входного контроля) может ока-

заться необходимым, но не достаточным условием для ус-

воения школьником или студентом учебного предмета.

Пример: гуманитарная подготовка философов, психоло-

гов. При поступлении в вузы у абитуриентов проверяются

историко-обществоведческие (а у психологов — биологи-

ческие) знания, которые из-за элементарного уровня

школьного изучения этих предметов не дают достаточно

глубокого представления о предстоящей абитуриенту

профессиональной сфере деятельности. Вопросы вступи-

тельных экзаменов (или же предполагаемого в будущем

вступительного теста) рассчитаны в основном на исполь-

зование репродуктивной памяти (знание дат, историчес-

ких эпох, типологий и классификаций). Изучение же фи-

Ч А С Т Ь В Т О Р А Я

лософии с её сложными абстрактными конструктами (в

неменьшей степени и психологии), от учащегося требуют

достаточно высокого уровня развития и абстрактного мы-

шления, и воображения, высокой гибкости ума, ассоциа-

тивного богатства.

Эти качества лишь в самой незначительной степени

заложены в типовые учебные программы школьных дис-

циплин и могли бы быть развиты у учащихся средней об-

щеобразовательной школы только при условии высочай-

шего мастерства педагогов и глубокой активной познава-

тельной потребности самих школьников.

Вступительный тест сможет (когда он будет создан

на базе государственного стандарта знаний по

гуманитарным дисциплинам в объеме

общеобразовательной средней школы и хорошо

стандартизирован) лишь частично отсеять тех, кто не

знает историю и биологию, кто не имеет достаточно

прочной репродуктивной базы знаний, но не выявит из

оставшихся тех, кто обладает качествами интеллекта,

нужными для успешного дальнейшего обучеяия. И не

потому, что он плохо составлен, — просто это з нём не

заложено.

Если мы добавим к этому тот неприятный факт, что

пока не известны в литературе профессионально состав-

ленные профессиограмма и психограмма философа или

психолога, — можно представить себе огромный объём

научно-исследовательской работы по созданию эффектив-

ного теста для отбора на эти специальности.

Аналогична ситуация и со многими спецдисциплина-

ми, а возможно, и с определёнными разделами вузовских

общенаучных дисциплин. Всё это следует выяснять в спе-

циальных исследованиях, в которых будет изучена вари-

ативность критериального выполнения у учащихся с бо-

лее высокими тестовыми результатами (при существенно

меньшей вариативности результатов тех, кто получил

низкие, непроходные баллы).

«Сильные» учащиеся больше различаются между со-

бой, чем слабые. В прикладной психодиагностике такая

338

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 339

особенность двумерного распределения называется гете-

роскедастичностью.

Коэффициент Пирсона здесь мало что даст. Двумер-

ное распределение, как отмечает А. Анастази, здесь

будет иметь форму веера, расширяющегося слева

направо и снизу вверх, показывая наглядно характер

зависимости и, соответственно, определяя выбор

целесообразных методов статистического анализа,

подсчёта корреляционных коэффициентов валидности.

Западные исследователи придают большое значение

получению сравнимых показателей тестов достижений по

разным областям знаний. Это даёт возможность разли-

чать популяции, обследуемые по этим областям знаний, и

вводить необходимые поправочные, дополнительные ко-

эффициенты, повышающие точность педагогических из-

мерений. Поскольку проблема сопоставления показате-

лей диагностики больше связана с вопросами выработки

нормативов теста, вся группа составляющих её вопросов

более детально рассматривается в соответствующем раз-

Деле книги.

СТАТИСТИЧЕСКИЙ ПОДХОД К

КРИТЕРИАЛЬНОЙ ВАЛИДИЗАЦИИ

Все используемые коэффициенты валидности в пси-

ходиагностике являются корреляцией между показате-

лями теста и критериальной мерой. Каждый из них поз-

воляет характеризовать валидность единственным пока-

зателем и часто приводится в руководстве к стандартным

тестам. Поскольку критериев бывает несколько, сообща-

ется значение коэффициентов критериальной валидности

для каждого из них.

Если тестовые критериальные переменные носят кон-

тинуальный характер и могут измеряться как точки на

какой-либо шкале, используется обычно коэффициент

корреляции. Технология же подсчёта коэффициентов

корреляции достаточно представлена в любом справочни-

ке по математике.

Ч А С Т Ь В Т О Р А Я

6.6. ПЕДАГОГИЧЕСКАЯ ВАЛИДНОСТЬ ТЕСТА

ПОНЯТИЕ «ПЕДАГОГИЧЕСКАЯ ВАЛИДНОСТЬ»

«Педагогическая валидность» — одно из самых моло-

дых понятий современной психологической тестологии и

введено оно было, к сожалению, не педагогами, а психо-

логом.

Отмечая необходимость ориентации психодиагности-

ки на практические нужды школы, Г. Витцлак ставит за-

дачу разработки таких методов, которые позволяют де-

лать однозначные педагогические выводы, то есть имеют

высокую педагогическую валидность. К сожалению, он не

детализирует контекст этого вводимого им самим тер-

мина [119, с. 141]. Г. Витцлак затрагивает сложнейшую

для педагогической диагностики проблему, но не даёт

ключи к её решению.

Говорить о педагогической валидности следует, в

первую очередь, в том случае, когда создаются

диагностикекоррекционные программы (они же —

синтетические методики, по терминологии З.И.

Калмыковой).

Психокоррекция при психодиагностике должна как бы

программироваться типовым диагнозом, что вполне

понятно, хотя может вызывать и некоторые возражения.

Так, в частности, встаёт вопрос — как типовой диагноз бу-

дет связан с необходимостью индивидуализации психо-

коррекционных мероприятий, с учётом специфики инди-

видуально-психологических особенностей обследуемого

(и обучаемого — в дидактическом тестировании на всех

уровнях и этапах контроля знаний).

В какой степени подобный подход целесообразен и

возможен в дидактической диагностике?

В отечественной дидактической диагностике он ре-

ально уже почти четверть века существует в работах Ю.К.

Бабанского и последователей его школы оптимизации

340