Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 281

вопросы использования ПЭВМ не только для обсчёта

результатов обследования, но и для моделирования

самих диагностических методик.

Теоретическая валидность теста

Термин «теоретическая валидность» объёмнее

конструктной валидности, в него входит также и то, что

связано с понятиями «содержательная» и

«психологическая» валидность в нашей интерпретации

их разделения.

Более того, теоретическая валидность включает и

очевидную валидность, и критериальную, и педагогичес-

кую, и отчасти прогностическую валидность.

Все эти виды валидности необходимо теоретически

обосновать на гипотезах и аксиомах (даже если

гипотезы недостаточно чётко сформулированы, а

аксиомы являются иллюзорными, хотя и общепринятыми

у разработчиков). Так как и гипотезы, и аксиомы, и

иллюстрирующие их модели, и структурно-

логические схемы конструктов — всё это

неотъемлемые компоненты теоретического знания,

отнесение конструктной валидности к рангу более

высокому, чем существенная составная часть

содержательной валидности, является гипотети-

ческим.

Систему их взаимоотношений можно

представить пока следующим образом на данном

этапе анализа.

Основание такой иерархизации терминов —

принятое в науке представление о том, что

теоретические системы включают в себя идеи,

концепции, законы, понятийный аппарат и модели

(конструкты). Понятие «теория» (даже если речь

идёт только о низшем её уровне — обобщении и

систематизации фактов) содержит в себе модели-

Ч А С Т Ь В Т О Р А Я

конструкты как подструктурный компонент и их

описания, объяснения.

В диагностике необходимо учитывать

иерархические уровни самих конструктов,

обусловленные уровнями (степенью обобщённости,

глобальности) тех теорий, которые их объясняют.

Следует отметить, что непроходимой стены

между содержательной и критериальной

валидностью нет. И как раз конструктная

валидизация теста является пограничной зоной

взаимопроникновения приёмов и методов вали-

дизации между ними: сложные критерии имеют

свои довольно сложные конструкты.

Факторная валидизация тестов (о ней речь

далее) позволяет подкорректировать

первоначальные представления о структуре этого

сложного критерия, о его модели-конструкте, а

локальная валидность — о том, какие аспекты

(элементы и взаимосвязи) этого конструкта более

значимы при диагностике различных подгрупп того

контингента обследуемых, для которого

предназначен (или применялся) данный тест.

Конкретные процедуры технологии

конструктной валидизации (а этот термин наиболее

интегрален и межпредметен из четырёх

приведённых выше) позволят определить:

а) действительно ли конструктная валидность

только

средство установления содержательной и психологичес-

кой валидности теста или же

б) она имеет и своё самостоятельное значение, выхо-

дящее за пределы установления содержательной и

психо-

логической валидности и лишь частично (хотя, возмож-

но, и существенно) с ней в чём-то совпадает или

пересека-

ется;

282

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 283

в) какие ещё виды валидности входят в понятие

«кон-

структная валидность»?

Вероятно, что конструктная валидность выступает

не только как самостоятельный вид валидности,

имеющий свою «предметную» целевую сферу, который

применяется при всех видах теоретической

валидизации, но и как средство решения разноплановых

задач системы валидизации дидактического теста. А

заодно и всего процесса его стандартизации, так как эти

данные имеют огромное значение для проверки

надёжности субтестов, отдельных тестовых заданий,

выверки нормативов и инструктивно-методического

обеспечения теста.

В основе определения конструктной валидности все-

гда лежит моделирование, построение конструкта как

структурно-логической схемы диагностируемого содер-

жания обучения (содержательная валидность), видов

деятельности психических процессов, свойств,

состояний (психологическая валидность). А также

системы предполагаемых алгоритмов коррекционной

деятельности при тех или иных типовых

диагностических результатах (педагогическая

валидность).

Без конкретного объяснения (а следовательно,

теоретического моделирования с построением

определённых конструктов) в принципе невозможно

научно обоснованное выделение внешних критериев —

определённых форм поведения, видов

профессиональной деятельности и составляющих их

структурных профессиографических элементов.

Прогнозирование также представляет собой опреде-

лённую модель (конструкт) изменений состояния

диагностируемого знания (умения), поведения

соотносительно с какой-то иерархией (структурой)

требований внешнего контроля. Поэтому при

определении прогностической валидности теста нам

Ч А С Т Ь В Т О Р А Я

необходимо работать с несколькими видами

конструктов (другое дело — насколько чётко они

представлены в сознании разработчика,

стандартизирующего тест).

Наконец, даже очевидная валидность (которая, по

мнению А. Анастази, является только представлением, а

не доказанным фактом) строится на определённом гипо-

тетическом мнении разработчика, испытуемого, пользо-

вателя теста. В основе представления об очевидной

валидности теста опять-таки лежит какой-то конструкт,

близкий или далёкий от « истинного ».

УСТАНОВЛЕНИЕ КОНСТРУКТНОЙ ВАЛИДНОСТИ ТЕСТА

Как отмечает А. Анастази, в конструктной валидиза-

ции теста используется метод внутренней

согласованности (особенно в тестах исследования

личностных особенностей, что очень значимо для

современной педагогики развития). Суть его

заключается в том, что итоги выполнения испытуемым

субтестов сравниваются с его же данными по тесту в

целом.

Такая ситуация в дидактическом тестировании впол-

не применима в тестах итогового контроля знаний по

структурно сложным дисциплинам —■ физика, геогра-

фия, где один раздел функционально может быть

довольно слабо связан с последующим (например,

механика и оптика в физике).

Критерием является суммарный показатель теста

(иногда — метод сравнения контрастных групп с лучши-

ми и худшими полученными при тестировании данной

группы результатами).

Используется такзке бисериальная корреляция меж-

ду итогами («справился — не справился») выполнения

обследуемыми каждого задания и суммарными

показателями выполнения (каждым учеником и

группой).

284

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 285

В результате становится возможным отобрать для

нового, откорректированного варианта теста только те

задания, которые имеют значимую корреляцию с тестом

в целом.

Если тест состоит из заданий, прошедших такой от-

бор, считается, что он обладает внутренней

согласованностью.

Сравнение тестовых заданий по одному и тому же

разделу знаний (умению, виду деятельности) для разных

уровней диагностико-корреляционной программы позво-

лит от очевидной валидности этих программ переходить

к экспериментально доказанной конструктной валидиза-

ции. Такой подход позволит более оперативно и обосно-

ванно выявлять педагогическую валидность каждого ва-

рианта дублирующего (эквивалентного) теста при

определении его надёжности и каждой «ветви»

многоуровневой диагностико-коррекционной программы,

причём по одному и тому же содержательному

материалу.

Существенным источником данных о конструктной

валидности являются эксперименты, последующие влия-

ния тех или иных факторов на результаты теста —

например, фактора дообучения в тесте на обучаемость

или ситуации искусственной тревоги для теста

тревожности [7, с.144].

В дидактическом тестировании, осуществляемом в

постоянно протекающем педагогическом процессе,

такие эксперименты методологически необходимы. Они

приобретают особое значение, если тестирование щёт

параллельно работе педагогов по внедрению новых

методов обучения, если оно сопровождает

дидактическое исследование или опытно-

экспериментальную работу.

Ч А С Т Ь В Т О Р А Я

В достаточно сложном дидактическом тесте, состоя-

щем из ряда субтестов по разделам (темам, главам), кри-

терий внутренней согласованности означает

корреляцию между результатами субтеста и суммарным

результатом, что в психодиагностике особо важно для

многих тестов интеллекта и тестов обучаемости,

состоящих из отдельно применяемых субтестов [7, с.

143].

В дидактико-методическом плане это одновременно

свидетельствует о большей или меньшей степени

реализации имеющихся внутрипредметных связей

различного типа и уровня (из тех, которые выделены). А

заодно позволяет и задуматься о логичности построения

самого курса в той программе и учебнике, по которым

работают педагоги, чьих учеников обследовали.

Системность знаний прекрасно выявляет

внутреннюю согласованность, а это — одна из

существенных характеристик целостной оценки

качества знаний учащихся..

В тесте текущего контроля знаний по разделу, теме

(или относительно целостному виду деятельности, систе-

ме близких трудовых операций) внутренняя согласован-

ность характеризует отдельные тестовые задания или

«малые субтесты». Это выявляет слабые места в

реализации внутрипредметных связей при изучении

каких-то тем, соответствующих параграфов, успешность

проведения конкретных предметных уроков. А

просмотрев данные внутренней согласованности на этом

уровне (тестовых заданий, их блоков, мини-субтестов) в

сопоставлении результатов школьников разных классов

и школ, можно выйти на сравнительные оценки качества

работы учителей (с оглядкой на тот контингент, который

они имеют в своих классах).

286

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 287

Особый интерес в методологическом плане для

разработки дидактической тестологии представляет

внутренняя согласованность тестовых заданий,

построенных в различных формах на одном и том же

содержательном дидактическом материале.

Это необходимо для последующего создания

дублирующих форм дидактического теста и для

построения диа-гностико-коррекционных

многоуровневых программ.

Конвергентная и дискриминантная валидность

теста

В зависимости от того, как тест? реально измеряет

определённые факторы (знания, умения, формы поведе-

ния), говорят о его конвергентной или дискриминантной

Ч А С Т Ь В Т О Р А Я

валидности (термины введены Д. Кэмпбеллом в конце 50-

х годов).

Конвергентная валидность теста— это его корреля-

ция с другими переменными, с которыми он теоретически

должен коррелировать. Дискриминантная валидность

определяет отсутствие значимой корреляции теста с теми

переменными, с которыми он не должен коррелировать

[7, с. 144].

Оба эти термина используются широко в том же кон-

тексте и в зарубежной, и в русскоязычной литературе.

Конкретизируя их, А.Г. Шмелёв связывает конвер-

гентную валидность теста с соответствием пунктов (эмпи-

рических показателей) теста измеряемому фактору. А их

сбалансированность относительно иррелевантных (несо-

ответствующих) факторов обеспечивает дискриминант-

ную валидность.

Дискриминантная валидность выражается также в

отсутствии значимой корреляции с другим тестом, изме-

ряющим концептуально независимое свойство [103, с. 79],

то есть свойство, совершенно не относящееся к модели-

конструкту диагностируемого качества. Как, например,

навыки лабораторно-химических анализов при проверке

грамотности по родному языку.

Так, высокие результаты теста по прикладной мате-

матике предполагают, что студент будет примерно с та-

ким же процентом успешности решать типовые професси-

ональные задачи, которые требуют расчётов, знания фор-

мул из диагностируемого раздела курса (конвергентная»

валидность).

В то же время если он с таким же успехом будет пере-

таскивать ящики на складе (дискриминантная валид-

ность), то данные по конвергентной валидности надо бу-

дет поставить под сомнение. Либо же — пересмотреть на-

Ше представление о конструкте и искать те факторы, ко-

торые могут объединять эти два совершенно

разнородных вида деятельности. Например, основанную

на развитом у студентов пространственном воображении

глубокую сте-% Пень интуитивного проникновения в

288

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 289

сущность прикладной «грузчицкой» задачи и в

логическую последовательность транспортировки и

расстановки ящиков как геометрических объектов в

замкнутом трёхмерном пространстве склада.

Нередко разработанный или переводной тест, ориен-

тированный на измерение какого-либо качества (свойст-

ва, объёма знаний, структуры профессиональных или

учебных действий), оказывается далеко не новым.

Используются для аналогичных или близких целей

другие методики, по-другому построенные (и нередка об-

ладающие уже известными данными содержательной

конструктной валидности).

В какой степени новый тест будет коррелировать с

ранее имевшимися (и особенно с отдельными субтестами,

из которых составлены батареи ранее имевшихся тестов)

— для разработчика очень важно.

Здесь нам помогут предполагаемая валидность теста

и его конкурентная валидность.

Предполагаемая валидность теста

Конструктная валидность называется предполагае-

мой валидностью (assumed validity), если в какой-то сте-

пени подтверждается выдвинутая диагностом гипотеза о

том, что новый тест будет коррелировать с другими

тестами, измеряющими родственные характеристики

испытуемых. Если тест имеет линейную или ранговую

корреляцию с другим тестом, обладающим уже известной

валидностью, то определяется конвергентная валидность

нового теста по отношению к старому [103, с.78].

По «старым» тестам конструкты обычно давно изве-

стны и много раз проверены. Если предполагаемая валид-

ность нового и старого теста даст высокий коэффициент

корреляции — значит, их конструкты близки: чем выше

коэффициент, тем они идентичнее. В этом есть свои плю-

сы и минусы, которые мы более подробно разберём при

рассмотрении проблем конкурентной валидности дидак-

тических тестов.

Ч А С Т Ь В Т О Р А Я

ОПАСНОСТИ ПРИ КОНСТРУКТНОЙ ВАЛИДИЗАЦИИ

Судя по мнению ведущих специалистов в области

психодиагностики и психологического эксперимента, на-

ибольшие сложности, «опасности» при валидизации свя-

заны именно с конструктной валидностью (вероятно, из-за

ее «сквозного» характера для всех видов теоретической

валидности).

Сам термин «опасность валидизации» имеет доста-

точно ярко выраженное смысловое значение.

Различая понятия «внутренняя валидность» и «кон-

структная валидность», Д. Кэмпбелл, известный методо-

лог психологического эксперимента, считает, что опас-

ность для конструктной представляет неправильное обо-

значение причины и эффекта с помощью абстрактных

терминов, взятых из обыденного языка или из формаль-

ной теории.

При этом он отмечает, что проблема конструктной ва-

лидности «имеет отношение к попыткам обозначения лю-

бых аспектов эксперимента, включая характер обстанов-

ки, в которой проводится эксперимент, особенности уча-

ствующих лиц и т.д.» [70, с. 42]. В этом мы с ним полно-

стью согласны. Рассмотрим некоторые из этих опасностей

более подробно.

Недостаточное внимание к случайным результатам

тестирования

По мнению А. Анастази, при определении конструкт-

ной валидности есть опасность, что использование раз-

личных методик приведёт к случайным результатам, о

которых исследователь сообщает, не указывая неудачные

Данные.

Учитывая невысокую диагностическую и методоло-

гическую культуру многих наших разработчиков тестов,

такая опасность более чем реальна. ^

От случайных данных никто не застрахован. Амери-

канцы как-то ухитрились получить^ысокую корреляцию

между уровнем воды в реке Потомак и интенсивностью

290