Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 291

движения автолюбителей по Бруклинскому мосту — то

есть между факторами, которые логически невозможно

увязать.

Не исключено, что в дидактическом тестировании при

сверхдобросовестной проверке валидности могут быть

выявлены высокие корреляции между ответами студентов

на математический тест и степенью опьянения вахтёра

института.

Необходимо наличие строгого стандарта описания

всей процедуры адаптации и стандартизации теста (с

указаниями основных особенностей контингента, на ко-

тором проводилась валидизация, факторов и критериев в

операциональных понятиях).

Всё это должно сопровождаться объяснениями или

гипотезами разработчика либо тех, кто проводит адапта-

цию теста, экспериментальной проверкой выдвинутых

рабочих эмпирических гипотез.

Недостаточный учёт демографических характеристик

обследуемого контингента выборки апробации

В педагогике на процедурах содержательной и психо-

логической валидизации может сказываться возраст об-

следуемых.

При конструктной валидизации следует учитывать

фактор возрастных изменений, особенно при измерении

сложных и динамичных психологических характеристик.

В одной и той же студенческой группе первокурсни-

ков в вузе могут быть 16-летний и 30-летний студенты.

Причём первый придёт из школы с естественнонаучным

или математическим уклоном, а второй учится за счёт

сельсовета горного кишлака. В таком случае к возраст-

ным факторам добавятся ещё и демографические (а то и

этнопсихологические), о чём преподаватель, адаптирую-

щий дидактический тест по математике или физике, мо-

жет ничего и не знать (особенно при компьютерном

тестировании, проведённом другим педагогом).

Ч А С Т Ь В Т О Р А Я

В этом случае, чтобы получить верные данные, йадо

вводить возраст и другие социодемографические харак-

теристики в программу проверки тестов на конвергент-

ную валидность и расширять репрезентативность вы-

борки.

Наслоение случайных факторов на неучтённые

демографические характеристики выборки

Вполне возможно «наслоение» первой опасности

(случайные данные) на вторую (возраст) именно в той

группе или на том факультете, где проводился, к приме-

ру, тест по физике.

Особенно если деканат, желая дифференцировать ра-

боту кураторов, первую группу составит из выпускников

городских школ областного центра, вторую — из победи-

телей олимпиад этого года, а третью — из тех, кто остал-

ся после комплектации первой и второй групп.

Если апробация и валидизация теста проводится

только на одной из этих трёх групп—получайся сдвинутые

коэффициенты корреляции. В первом случае можно

предположить, что они будут наиболее высокими, а в тре-

тьем (при неравной пропорции студентов, отобранных по

общим признакам) —-весьма проблематичными. Тестиро-

вание во всех трёх группах покажет нам, какой фактор

следует искать (если будут учитываться биографические

характеристики), и даст усреднённую картину.

Перекрёстная валидизация дидактического теста

Другим способом избежать опасности возрастного

фактора и прочих демографических факторов является

перекрёстная валидизация теста — независимое измере-

ние валидности теста на выборке испытуемых, отличной

от той выборкиу с помощью которой проводился отбор те-

стовых заданий.

Применяется эта процедура для того, чтобы скоррек-

тировать зависимость коэффициентов валидности, полу-

292

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 293

ченных при отборе заданий (так как случайные особенно-

сти выборки по ошибке могут учитываться как истинные

свойства популяции).

Она позволяет избежать завышения коэффициента

валидности за счёт случайных особенностей первой вы-

борки, на которой вёлся отбор заданий [7, с. 198].

В нашем примере для перекрёстной валидизации тес-

та по физике надо проверить тест для первокурсников на

студентах первого же курса случайной выборки факуль-

тетов двух похожих вузов, изучающих физику по той же

типовой программе, и сравнить полученные данные.

Опасность поспешной переделки методики

Поспешная переделка теста после получения низких

коэффициентов конкурентной (предполагаемой) валид-

ности может быть ошибкой разработчиков. И довольно

серьёзной. Как считают ведущие специалисты по психо-

диагностике (А. Анастази, А.Г. Шмелёв), конструктная

валидность теста может низко коррелировать с другими

методами, измеряющими эти же качества, иначе новый

тест просто дублирует прежние.

Здесь имеется в виду сходство конструктов тех ка-

честв (аспектов, характеристик), которые диагностирует

и новый (апробируемый) тест, и ранее известные, приме-

нявшиеся для этих диагностических целей методики. Это

могут быть стабильные контрольные работы, рейтинговые

системы оценок или опросники, анкеты, результаты

предметных викторин и олимпиад. Словом — весь диа-

гностический (в том числе — любительский) арсенал со-

временной педагогической диагностики. Корреляция ис-

пользуется как мера оценки независимости нового теста

от влияния определённых посторонних факторов.

Психодиагносты предпочитают иметь, например,

низкую корреляцию теста специальных способностей с

тестами общего интеллекта, иначе сомнительной будет

выглядеть валидность теста специальных способностей

— какие же они тогда специальные?

Ч А С Т Ь В Т О Р А Я

Факторная валидность дидактического теста

Для конструктной валидизации применяется фак-

торный анализ психологических свойств теста. Считается,

что «каждый тест-может быть охарактеризован по-

средством основных факторов, определяющих его показа-

тели, весом или нагрузкой каждого фактора и корреляци-

ей теста с каждым из них. Такая корреляция именуется

факторной валидностью теста. Так, если в словарном тес-

те фактор понимания слов имеет вес 0,66, то факторная

валидность этого теста как средства измерения понима-

ния слов равна 0,66» [2, т. 1, с. 143]. Это основа подхода к

технологии психологической конструктной ^валидиза-

ции, но не статичной, а динамичной.

Ведь факторы возрастных изменений могут прояв-

ляться ярко и в процессе обучения. А диагностика должна

подстраиваться под эти изменения за счёт динамичности

своих методик, их открытости для совершенствования и

корректировки.

Особенно важно это в профессиональном обучении,

где проводится работа по перестройке позиции учащего-

ся — его мотивации, структуры общекультурных и про-

фессиональных интересов. Для этого совершенствуются

программы обучения, внедряются новые информационные

технологии. А они, в свою очередь, меняют и внутренние

структуры учебной деятельности учащихся, иерархию и

«удельные веса», находимых для успешного учения.

Конструктная валидность дидактического теста по

предмету (содержательная конструктная валидность)

должна коррелировать с вариантами рабочей программы

и, если существуют альтернативные программы и учебни-

ки, конкретизироваться в дополняющих объяснениях. Це-

лесообразно, на наш взгляд, характеризуя конструктную

валидность дидактического предметного теста,

приводить Данные об особенностях технологии обучения

(традиционная, проблемная, компьютерная,

алгоритмизированная по принципам программированного

обучения и т. д.).

294

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 295

Целесообразность построения при корректировке

конструкта идеальной модели теста

При построении и корректировке конструктов тестов

целесообразно использовать современные достижения эв-

ристики, прошедшие апробацию при решении творческих

и изобретательских задач в НИИ, в промышленности.

Одним из малоизвестных подходов к методологии раз-

работки решений является концепция идеальной систе-

мы, положенная в основу проектирования оптимального

управленческого решения.

Идеальная система рассматривается на трёх уровнях:

1— теоретически идеальная система;

2— идеальная система в перспективе;

3 — технически возможное идеальное решение.

Технология разработки решений по концепции идеальной

системы состоит из следующих этапов:

Формирование идеальной системы (положения) в об-

ласти решаемой проблемы; идентификация в идеальных

условиях; разработка возможной в перспективе идеаль-

ной системы, а также разработка решения, спроектиро-

ванного на основе идеальных решений, — четвёртый уро-

вень [166, с. 72-74].

Пятым уровнем, на котором и разрабатывается при-

мерное, ситуативное решение, является промежуточный

между диагностикой существующего сейчас положения и

рёшенией, спроектированным на основе идеальных ре*

шений. Это своего рода компромисс между тем, что мож-

но было бы пожелать при самом оптимистичном прогнозе;

и тем, что реально есть и затрудняет достижения опти-

мистично поставленных целей.

Модель конструктной валидизации

дидактического теста

Обобщая всё сказанное выше о конструктной валид-

ности, можно схематически представить процесс конст-

руктной валидизации дидактических тестов.

Ч А С Т Ь В Т О Р А Я

А.Г. Шмелёв справедливо отмечает, что представле-

ния о конструктной валидности тестов с накоплением ме-

тодик постоянно развиваются. Эмпирические исследова-

ния результатов, получаемых с помощью разных методик,

пополняют теоретические представления об измеряемых

свойствах, i t

С другой стороны, понятие конструктной валидности

указывает на высокую зависимость эмпирических связей

теста от теоретических (концептуальных) представлений

автора тес^та об измеряемом свойстве.

6.5. КРИТЕРИАЛЬНАЯ ВАЛИДНОСТЬ

]г

ТЕРМИНОЛОГИЯ КРИТЕРИАЛЬНОЙ

ВАЛИДИЗАЦИИ ДИДАКТИЧЕСКОГО ТЕСТА

Понятие «критериальная валидность» широко ис-

пользуется в психодиагностике, но в дидактике и методи-

ке педагогических исследований практически не извест-

но. Г. Витцлак считает, что критериальная валидность

показывает, «насколько по результатам теста можно су-

дить об интересующем нас аспекте поведения индивида в

настоящем и будущем. Для её определения результаты

теста сравнивают с некоторым внешним критерием

(например, со школьными оценками) или сравнивают

между собой результаты различных тестов. В последнем

случае говорят о конкурентной валидности критериев,

которая устанавливается путём определения корреляции

между новым и уже применявшимся тестами» [119, с.

133]. По мнению А. Анастази, внешний критерий должен

быть непосредственной и независимой мерой того, что

должен предсказывать тест: работа на производстве,

качество обучения и т.п. [7, с. 131].

Как отмечает К.М. Гуревич, к внешнему критерию

предъявляются три основных требования:

1) «релевантность» (уместность, существенность);

2) свобода от контаминации (сдвига на другой,

сопредельный, похожий критерий);

296

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 297

3) статистически достаточная надёжность.

Поскольку большинству педагогов не знаком термин «

релевантный », уточним его.

К.М. Гуревич считает, что, прежде чем вычислять ко-

эффициент валидности, нужно найти для этого релевант-

ный критерий. То есть такой, который по своей сущности,

по характеру выполняемых частных действий соотносим

либо со всей психологической методикой, либо с какой-то

аналитически выделенной её частью. Для подтверждения

требований релевантности заданий сопоставляется

успешность в тестировании и выполнении учебных задач

исследуемой критериальной области — особенно

индивидуально направленный анализ рассогласований. В

соответствии с релевантностью нужно отказаться от

глобальных сопоставлений всей успешности по тестам со

всей производственной успешностью [44, с.112]. Следо-

вательно, надо обязательно проводить более

дифференцированный анализ полученных данных по

различным параметрам, выявляя те из них, которые

реально и систематически влияют на результаты. Для

дидактического тестирования это замечание имеет

методологический характер, особенно при тестировании

по гуманитарным и общенаучным дисциплинам,

непосредственно не связанным с трудовыми операциями

предстоящей профессиональной деятельности.

Значительная часть знаний и умений, формируемых,

например, по физике, напрямую не связана с решением

конкретных профессиональных задач, носит мировоз-

зренческий характер. Это полностью относится к фило-

софским и культурологическим знаниям и в немалой сте-

пени .— к математическим. Здесь существует сложная

причинно-следственная опосредованность внешнего кри-

терия (или нескольких внешних критериев) — опосреду-

ющим является учебный материал специальных (технико-

технологических, например) дисциплин.

В профессиональной педагогике, тесно связанной с

экономикой, с затратами на производимую продукцию

(куда входит и стоимость подготовки кадров), эта

Ч А С Т Ь В Т О Р А Я

проблема особенно остра. Переход к рынку заставляет

готовить специалиста «под заказ» и «под контракт», а

качество отбора и критерии отсева из области теории

переходят в область экономических категорий.

Психологи первыми стали больше внимания уделять

критериальной валидизации методик. В.А. Бодров уже в

1985 г. писал, что «при разработке рекомендаций по отбо-

ру на обучение какой-либо специальности информатив-

ность методических приёмов и критерии прогнозирования

профпригодности обучающихся определяются путём

построения корреляционных отношений между результа-

тами психологического обследования и показателями ус-

пешности подготовки — оценки по предметам, надёж-

ность выполнения учебных заданий и т.п.». По его мне-

нию, создание системы отбора специалистов для практи-

ческой деятельности связано с необходимостью использо-

вания в определении критериев профпригодности внеш-

них трудовых показателей профессиональной эффектив

ности, таких, как точностные, скоростные, надёжностные

и качественные показатели выполнения трудовых задач

[26, с. 87].

В педагогике общеобразовательной школы такие кри-

терии находить труднее, особенно по гуманитарным

предметам. Это, естественно, затрудняет поиск, выбор и

конструирование внешнего критерия и ещё раз

демонстрирует связь критериальной и конструктной

(содержательной и психологической) валидности.

Дидактическая диагностика и её возрождающаяся

отрасль — дидактическая тестология — обладают доста-

точно разработанной собственной методологией поиска и

обоснованного определения внешних критериев. Тради-

ционный подход, при котором главным внешним крите-

рием является только успеваемость по учительским оцен-

кам, издавно критикуется за субъективность, ненадёж-

ность и невалидность.

Приходится обращаться к опыту психодиагностики.

Применительно к диагностике профпригодности К.М.

Гуревич отмечает, что «требования свободы от кон-

298

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 299

11 -2976

таминации вызываются тем, что производственная ус-

пешность, в каких бы показателях она ни выражалась,

всегда зависит не только от индивидуальных особеннос-

тей работника, измеряемых тестами, но и от той обстанов-

ки, в которой происходит его производственная деятель-

ность». Критерий может отражать условия труда в боль-

шей степени, чем индивидуальные особенности [44, с.

113].

Другой подход: при сравнении показателей людей,

работающих в условиях, которые могут влиять на успеш-

ность, учитываются данные не по абсолютным значениям

по каждому обследованному, а в отношении средних дан-

ных группы, работающей в аналогичной обстановке.

Критериальная валидизация по своему характеру в

определённой степени является частным случаем прояв-

ления теоретической валидности (наряду с содержатель-

ной, психологической, педагогической и прогностичес-

кой).

Специальные методологические исследования необ-

ходимы для определения механизмов и процедур взаимо-

связи этих видов валидности. К сожалению, они крайне

редко проводятся. И хотя психологи далеко продвинулись

в разработке проблем критериальной валидизации,

исследования, даже проведённые профессионалами, вы-

зывают нарекания методологов.

Ю.З. Гильбух отмечает, что «описания критерия ва-

лидности фрагментарны, разрознены, что обостряет необ-

ходимость специального, систематического анализа про-

блемы» [37, с. 119].

Даже в тестах интеллекта, проводящихся почти сто-

летие и особенно близких к задачам педагогической диа-

гностики, многие проблемы методологии критериальной

валидизации требуют нового решения. Психологи России

считают, что критерий сравнения результатов методик

умственного развития «не должен выводиться статисти-

ческим путём из получаемых при тестировании результа-

Ч А С Т Ь В Т О Р А Я

тов, а должен быть независим от них, задан объективно,

с учётом тех наиболее общих и фундаментальных

требовацйй, под влиянием которых складывается облик

индивида в данной социальной общности [45, с. 140].

Критериальная валидность во многом обусловлена

целевой направленностью теста. Так, в США очень рас-

пространённый для отбора персонала «Самоприменяемый

тест умственных способностей» Отиса в профессиях

низкой квалификации достаточно хорошо коррелировал с

успешностью обучения работе и лёгкостью начальной

адаптации, но не соотносился с последующими достиже-

ниями в работе (ибо она не требовала повышения квали-

фикации). А для высококвалифицированных служащих,

отобранных на основе учебных достижений, корреляции

показателей теста и успеха в работе были ничтожными —

тест не давал различения для контингентов обследован-

ных с более высоким образовательным уровнем, чем у ос-

новной массы выборки [8].

Для дидактического тестирования этот опыт профес-

сиональной психодиагностики является предупреждени-

ем — необходимо предельно конкретно формулировать

критерий и строить его модель-конструкт на операцио-

нальных определениях. То же самое должно быть проде-

лано при спецификации теста.

Наибольший диапазон колебаний коэффициентов

критериальной валидности в системе профессионального

обучения можно, на наш взгляд, ожидать в тестах по об-

щенаучным дисциплинам (математика, физика, химия),

техническому черчению и в тестах на диагностику учеб-

ных умений. Особенно в тех случаях, когда профессио-

грамма или психограмма специалиста (и хорошо скоорди-

нированные с ними учебный план и программы спецдис-

циплин) не предусматривают качественного усложнения

базовых умений и навыков чтения чертежей, выполнения

расчётов, химических лабораторных опытов и т.п.

Гипотеза эта требует проверки.

Сутью процесса критериальной валидизации являет-

ся поиск, выделение и обоснование внешних критериев.

300