Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 321

то это приводит также к сокращению размера выборки,

её репрезентативности и к уменьшению изменчивости

показателей (что влечёт за собой снижение

коэффициента валидности).

Сказывается в подобном случае и годами сложившее-

ся биографическое различие уже имеющих профессио-

нальный опыт (что искажает связь между показателем

теста и критерием).

Существенно влияют и различия в мотивации (давно

работающих на данном предприятии кадров по сравне-

нию с поступающими на работу).

Для дидактического тестирования вторая и третья

причины, приведённые А. Анастази, могут быть сглажены

или полностью устранены в некоторых видах теста отбора

(в вуз, ПТУ, лицей, на различного рода профессиональные

курсы), если вернуться к практике пробного поступления.

Кандидатами в таком случае зачисляются все

проходившие тест и показавшие минимально приемлемый

уровень результатов, а далее проводится валидизация.

Это позволит значительно уменьшить ошибки отбора (как

отсева, так и приёма).

Локальная инкрементная валидность теста

Для локальной валидизации дидактического теста,

нацеленного на решение задач процентного отбора,

принципиальное значение имеет понятие инкрементная

валидность теста, введённое в 1963 г. L. Sechrest (США).

С ним связана разработанная в психодиагностике

технология повышения прогностической валидности и

селекционной возможности теста (с развитым математи-

ческим аппаратом).

А. Анастази широко использует термин «инкремент-

ная валидность» теста, характеризуя им рост прогности-

ческой валидности при уменьшении процента отбираемых

обследованных (для работы, например) из числа про-

шедших тестирование.

Ч А С Т Ь В Т О Р А Я

С помощью анализа инкрементной валидности поль-

за от применения теста оценивается не вероятностью ус-

пеха в работе отобранных претендентов, а тем,

насколько его использование улучшает процедуру

отбора, основанную на сведениях из других,

традиционных источников информации о претенденте на

то или иное место. Например, отзывов работодателей

или педагогов об его личных качествах, предыдущей

деятельности.

Инкрементная валидность зависит не только от ин-

декса отбора, но и от базового уровня развития

диагностируемого контингента по существенному

критерию — распространённость того или иного

заболевания, средняя выработка и т.п.

Для расчётов используются таблицы Тейлора—Рассе-

ла, имеющиеся в статистических пособиях и позволяющие

проводить более точные типичные вычисления.

В педагогической диагностике инкрементная валид-

ность имеет особое значение для всех тестов отбора — от

тестов отбора в «сильные» и коррекционные классы

начальной школы до тестов отбора кандидатов в

аспирантуру.

Учитывая, что многие наши учебные заведения (осо-

бенно имеющие лицейские и гимназические классы шко-

лы), альтернативные школы, школы для особо способных

детей или детей с отклонениями в развитии разрабатыва-

ют свои специфические системы требований к континген-

там учащихся, у инкрементной валидности как средства

оценки качества тестов есть перспектива.

Её расчёты по отношению к другим средствам накоп-

ления информации о контингенте позволят уже в обозри-

мом будущем сэкономить немало сил и времени педаго-

гам на стадиях отбора и приёма вступительных экзаме-

нов.

Фактор времени в критериальной валидизации теста

322

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 323

В дидактическом тестировании, стремящемся впи-

саться в учебно-воспитательный процесс, при содержа-

тельной и особенно при критериальной валидизации важ-

ное значение имеет фактор времени как минимум по двум

причинам.

Во-первых, существует временной разрыв между ди-

дактическим тестированием по предмету в процессе те-

кущего, рубежного и итогового контроля. К тому же

часть тестов рубежного и тем более итогового контроля

либо включают в качестве субтестов задания предыду-

щего контрольного мероприятия, либо же они в опреде-

лённой (какой?) степени ориентированы на задания

предшествующего уровня (например, текущего кон-

троля).

Во-вторых, в тестах, ориентированных на формиро-

вание необходимых профессиональных навыков, реаль-

ный прогностический потенциал заложен нередко на

очень отдалённый срок от момента тестирования.

Это обстоятельство отмечено психодиагностами и

должно учитываться при организации срезовой дидакти-

ческой диагностики в современных отечественных рей-

тинговых системах контроля учебных достижений уча-

щихся.

Таких систем изобретено в последние годы немало и

методология их составления часто не только не стыку-

ется, но и порой просто непонятна и свидетельствует о

слабом знании разработчиками теории психолого-пе-

дагогических измерений (а порой и формальной ло-

гики).

А. Анастази пишет, что критерии могут также изме-

няться во времени. Например, коэффициент валидности

теста относительно критериев профессионального обуче-

ния часто отличается от его же валидности (в случаях,

когда качества, диагностируемые тестом, формируются

не столько теоретическим обучением, сколько опытом ра-

боты). Изменения такого рода возможны в связи с изме-

нением характера, целей выполняемой деятельности, из-

менениями учебных программ и образовательных техно-

логий. В результате «наиболее распространённые крите-

Ч А С Т Ь В Т О Р А Я

рии валидизации тестов способностей и интеллекта —

это динамические, а не статические критерии.

Валидность критерия сама подвержена временным

изменениям [7, с. 138].

Задачами разработчиков новых педагогических тех-

нологий, методик и средств диагностического контроля

будут, учитывая это обстоятельство, прогнозирование не

только ожидаемых результатов, но и возможных измене-

ний критериев их оценивания.

Критериальная синтетическая валидность теста

В педагогике и дидактическом тестировании мы по-

стоянно имеем дело с многофакторными моделями и

сложными критериями. Настолько сложными, что когда

великий Эйнштейн ознакомился с общими положениями

теории детской игры психолога Пиаже, он заявил, что вся

его физика — это забава по сравнению со сложностью

детской игры.

Проблема сложности критериев, их многогранности и

многофакторности волнует психодиагностов и педагогов-

теоретиков, занимающихся вопросами педагогических

измерений.

Для критериальной валидизации дидактических тес-

тов могут быть использованы различные меры (критерии)

профессиональных навыков или успеваемости. Поскольку

эти меры могут относиться к различным свойствам или

комбинациям свойств, не удивительно, что по разным

критериям коэффициенты валидности для одного и того

же теста неодинаковы.

Когда различные меры получаются на одних и тех же

испытуемых, их взаимокорреляция низка. Это является

причиной локальной значимости валидизации тестов от-

носительно сложных критериев. Необходима валидизация

для каждой частной ситуации и повторение её через

короткие промежутки. Причины этого могут быть объяс-

нены тем, что когда в качестве критерия берётся профес-

сиональная деятельность и проверяются её результаты у

прошедших тестирование, мы это делаем на конкретном

324

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 325

контингенте испытуемых в определённых ситуациях, ко-

торые могут быть отнюдь не самые типичные.

Допустим, что для руководителя педагогической

практики из пединститута неплохой студент — это тот,

кто получил хорошие оценки за свои уроки, провёл про-

граммный минимум мероприятий и вовремя сдал пра-

вильно оформленный отчёт.

Руководитель той же практики из школы или проф-

техучилища ставил хорошие оценки этому студенту,

который за него проверял тетради учащихся, подготовил

3 плаката и провёл пару бесед по готовой программе.

Каково же реальное качество всех видов учебной ра-

боты этого студента-практиканта, получившего высокую

критериальную оценку?

Мы точнее это узнаем и сможем оценить, если

рассмотрим, как понимался и структурировался

руководителями практики критерий «успешность

студентов на практике в педагогической деятельности»,

как они его интерпретировали по внешне наблюдаемым

признакам.

В число этих признаков не вошли ни богатство при-

ёмов учебной работы, продемонстрированное и эффектив-

но реализованное практикантом, ни наличие в этих при-

ёмах развивающих элементов.

Если же тест по педагогике построен для проверки

теоретической подготовки студента к реализации

развивающей дидактической системы, то показатели

студента по тесту вряд ли будут высокими. Он, возможно,

был просто сереньким послушным «пай-мальчиком»,

хорошо адаптировавшимся к примитивным требованиям

своих руководителей.

Возможно, этот студент одновременно проявил на пе-

дагогической практике чудеса педагогического творчест-

ва, разрабатывал и проводил деловые игры, блестящие

олимпиады и викторины, компьютерные уроки с тестиро-

ванием по созданной им гениальной обучающе-контроли-

рующей программе. Может быть, даже с применением

мультимедиа.

Ч А С Т Ь В Т О Р А Я

Но высокую оценку по критерию он получил не за это,

а за послушность, аккуратность и добросовестность (как

и его соученица — «серенькая» девушка).

Синтетическая валидность позволяет частично пре-

одолеть эти затруднения в постановке объективного

педагогического диагноза. Понятие это введено Ч.Х.

Лоши (С. Н. Lawshe, 1952) и определяется как

установление валидности в конкретных условиях на

основе систематического анализа элементов

деятельности, определения по этим элементам

валидности теста и объединения составляющих

валидностей в единый показатель.

Уточним некоторые особенности его подсчёта.

«Процедура его получения предусматривает, в частности,

список элементов деятельности, записанных на языке

профессиональных действий, и оценку важности этих

элементов куратором работы или методистом. При выборе

из всей совокупности подавших заявление (при

поступлении на работу) определяются коэффициенты

корреляции между результатами теста и самооценки

элементов деятельности. Применяются различные меры

для повышения стабильных корреляции и весов,

вычисленных на основе самооценок, а также для учёта

критериев» [7, с. 140].

При определении синтетической валидности приме-

няется технология психологической и конструктной ва-

лидизации.

Профессиографический и психографический анализ

деятельности позволяет построить её модель-конструкт,

выделить составляющие модель компоненты, воз-

действующие на неё факторы и их индикаторы (эмпири-

чески фиксируемые с помощью диагностических средств).

Экспертным путём и факторным анализом определя-

ются удельные веса компонентов (факторов) модели-кон-

структа и соответствующие коэффициенты конструктной

валидности.

Последовательно или синхронно (если возможно) осу-

ществляется текущая и прогностичная валидизация.

326

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 327

Все данные затем интегрируются в общий коэффици-

ент синтетической валидности.

При определении «удельных весов» мы, по сути, вы-

полняем те же по форме операции, что и при

определении Удельных весов (процентных долей) пунктов

типовых программ дисциплины, когда проводим

содержательную куррикулярную (программную)

валидизацию.

То же самое делается и при построении теоретичес-

ких конструктов диагностируемой деятельности и моде-

ли теста.

Квалифицированное использование экспертных оце-

нок (от подбора экспертов до умелого анализа результа-

тов) позволяет до определённой степени разложить и

взвесить составляющие синтетического критерия.

Синтетическая валидность в значительной степени

интегрирует конструктный и критериальной подход к ва-

лидизации методик. Но насколько она их заменяет в си-

туациях дидактического тестирования при разработке те-

стов различной целевой направленности (для отбора аби-

туриентов, для текущего, рубежного и итогового контро-

ля, для отбора в магистратуру, аспирантуру, на стажи-

ровку за границей)? Это предстоит выяснить в специаль-

ных методологических экспериментах, которые пока

почти не проводятся.

В педагогике общеобразовательной школы необходи-

мость синтетической валидизации возникает при апроба-

ции или разработке тестов для решения следующих во-

просов:

а) перевод учащегося на следующий уровень обуче-

ния (из начальной школы в среднюю, в гимназию, лицей

или в спецшколу для детей с отклонениями развития, де-

фектологическую или для особо одарённых);

б) при переводах в системе многоуровневого профес-

сионального образования в СНГ всё более ориентируются

на модель: «младший специалист — бакалавр ма-

гистр»;

Ч А С Т Ь В Т О Р А Я

в) в колледжах и вузах на следующий семестр (если

учебный план построен так, что предшествующие семест-

ры по какому-либо циклу дисциплин дают относительно

целостный уровень подготовки);

г) при определении направления специализации об-

щеобразовательной подготовки (гуманитарной — естест-

веннонаучной — технической).

Интегративные критерии успешности обучения в си-

стеме профессионального образования становятся всё бо-

лее значимыми в экономическом плане — учить работе

лётчика или оператора атомной ТЭЦ на дорогостоящем

оборудовании нет смысла, если его базовая подготовлен-

ность и обучаемость невысоки.

Синтетические критерии такого типа, как успевае-

мость, обучаемость, профадаптируемость и профессио-

нальная успеваемость, особенно прогностичны. И пробле-

ма предсказания критерия (успеваемости, обучаемости и

т.д.) становится всё более значимой, по мере того как до-

рожает стоимость обучения.

Как отмечает А. Анастази, «для предсказания крите-

рия обычно требуется не один, а несколько тестов. Боль-

шинство критериев достаточно сложны, а критериальные

меры зависят от целого ряда различных качеств. Если та-

кой критерий измеряется посредством одного теста, то

этот тест должен быть весьма разнородным. Поэтому

предпочтительно пользоваться серией из нескольких от-

носительно однородных тестов, каждый из которых наце-

лен на какой-то один аспект критерия, чем одним боль-

шим тестом, представляющим собой мешанину самых

разнообразных заданий» [7, с. 165].

Для того чтобы стать надёжным и валидным дидакти-

ческим инструментом, необходимо, чтобы предлагаемые

А. Анастази однородные тесты создавались и адаптирова-

лись по унифицированной технологии, стандартизирова-

лись со строгим соблюдением всех необходимых проце-

дур. Иначе разносортность тестов даст недостоверные

данные.

328

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 329

ДЕТЕРМИНАЦИЯ КОЭФФИЦИЕНТА

ВАЛИДНОСТИ ПРИ ПРОГНОСТИЧЕСКОЙ

ВАЛИДИЗАЦИИ ДИДАКТИЧЕСКОГО ТЕСТА

На коэффициент валидности влияют различные по

своему характеру факторы (требующие диагностических

контрмер). Эти факторы можно разделить на несколько

взаимосвязанных групп и анализировать раздельно (учи-

тывая, однако, специфику их взаимосвязи, которую мож-

но установить как экспертным путём, так и с помощью

ст

Руктурно-функционального и факторного анализа).

Локально-групповые факторы

Локально-групповые факторы связаны с анализом и

описанием в операциональных определениях особен-

ностей группы, для которой (и на материале которой)

найден коэффициент валидности. Один и тот же тест мо-

жет измерять различные функции, если его дать лицам

разного возраста, пола, образовательного уровня, рода

занятий и т.п.

Как это может проявиться при дидактическом тести-

ровании, рассмотрим на примере из вузовской педагоги-

ки, щф» \

Обычный предметный дидактический тест для сту-

дентов дневного отделения вуза — это инструмент, пред-

назначенный для относительно гомогенных групп. Но при

условии, что отбор и комплектация этих групп прово-

дились как бы на основе случайного распределения. Ре-

ально это не так даже для студентов-дневников, которые

изучают курс общей физики, химии и т.п. (а тем более

спецдисциплины).

Во-первых, различен был конкурс на разные факуль-

теты, каждый из которых имел свою «планку отбора».

Во-вторых, в зависимости от престижа и реального

социоэкономического статуса разных специальностей на

разные факультеты поступали представители различных

социодемографических групп. Так, факультеты до-

Ч А С Т Ь В Т О Р А Я

школьного воспитания в пединститутах — «девичий за-

поведник», как и факультеты технологии швейных изде-

лий в технологических вузах. В то же время на техничес-

ких факультетах больше мужчин. На экономических фа-

культетах чаще всего учатся студенты из торгово-эконо-

мических и элитных социально-профессиональных групп,

а на факультетах, готовящих инженеров-произ-

водственников, — более демократическая по социальному

происхождению публика.

Естественно, что специфика социодемографического

состава в сочетании с целевой ориентацией поступления

в вуз будет определять отношение студентов к

тестированию по разным дисциплинам (установку на

ответственность при подготовке, выполнении заданий,

активность подготовки к тестированию при стабильной

многоэтапной системе контроля знаний и т.п.). А

различие профес-сиограмм специальностей даст разные

по интерпретации критериальные факторы. Та же химия,

пусть в разных объёмах, в технологическом вузе будет

изучаться как дисциплина общенаучной подготовки и

студентами группы инженеров-педагогов (будущие

преподаватели информатики и вычислительной техники

в ПТУ) и студентами группы технологов общественного

питания, и технолога-МИ'ПО изготовлению изделий из

кожи и меха.

Технологам предстоит в дальнейшем более глубокое

изучение прикладных вопросов химии как ключевой дис-

циплины, а будущие инженеры-педагоги по ВТ с нею рас-

прощаются, быть может, навсегда. Поэтому для одних

химия — компонент их общенаучной эрудиции, для других

— основа базовых профессиональных знаний. У ин-

женеров-педагогов в структуре профессиограммы хими-

ческие знания и умения могут быть даже не обозначены.

У будущих технологов это один из основополагающих

компонентов профессиографической структуры деятель-

ности. Причём компонент, имеющий разветвлённую и

сложную конфигурацию внешних критериев, которые

330