Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 271

Конструктная валидизация теста включает в себя

следующие процедуры при разработке нового

дидактического теста:

1.В текстовой и графической форме представляется

структура знаний и умений в виде структурно-логичес-

кой схемы с иерархическими и координационными свя-

зями. Строится в соответствии с этой схемой из имеюще-

гося набора заданий адекватная структурно-логической

схеме модель теста.

2.В другой ситуации, когда проводится адаптация

уже готового (например, переводного) теста,

потребуется строить конструкт после спецификации

этого теста.

Причина в том, что многие зарубежные тесты

составлялись на иной, чем в СССР и России,

концептуально-понятийной основе и трактовки понятий

по объёму и структуре часто не совпадают.

Спецификация же, проведённая в контексте

отечественных концепций и принятой терминологии,

покажет, что же реально измеряет тест в его пер-

воначальном (авторском) варианте и что надо менять,

дополнять с позиций наших трактовок

диагностируемого явления и наших диагностических

задач. В предложенной нами системе процедур

количественного анализа куррикулярной валидности

теста его конструкт (и, соответственно, конструктная

валидность в количественном выражении относительно

различных фрагментов диагностируемого учебного

материала) появляется сам из полученных результатов

сопоставления теста и программы.

Затем этот конструкт (полученный при анализе

теста) соотносится с отражением в структурно-

логической схеме конструкта диагностируемой области

знания (программой изучения учебного материала,

структурой учебника, диагностично сформулированными

целями и задачами обучения и контроля качества

получаемого образования).

Ч А С Т Ь В Т О Р А Я

Конструктная валидность, таким образом, характе-

ризует тест с точки зрения того, какие иерархические

элементы модели диагностируемых знаний (умений,

навыков) в большей или меньшей степени отражены в

структуре теста как средства контроля, какие — вообще

не отражены. Она позволяет определить, может ли тест

диагностировать через наличие (отсутствие)

взаимосвязанных между собой заданий реально

имеющиеся в структуре данной области знания

внутрипредметные и межпредметные связи — и какие

именно, в какой степени.

Только конструктная валидность теста отвечает на

вопрос: в какой степени в тесте отражены ключевые эле-

менты диагностируемого содержания образования и на-

сколько адекватно.

В принципе возможно математическое описание кон-

структной валидности дидактического теста (как, впро-

чем, и всякого другого), но на практике пока что такой

подход не применяется — вероятно, из-за большой

трудоёмкости и нежелания идти на сложные

методологические эксперименты.

Психологическая валидность дидактического теста

Теснейшая взаимосвязь педагогики и психологии

проявляется в многообразных и специфических формах.

Реальный диагностический процесс в любом учебном за-

ведении требует взаимодополнения данных об учебных

Достижениях учащихся сведениями об их основных ин-

дивидуально-психологических характеристиках. Поэто-

му задача педагогов-диагностов при проведении

важных контрольных диагностических срезов —

дополнить батареи дидактических тестов

психодиагностическими данными.

Может быть несколько основных вариантов психоди-

агностического сопровождения дидактического тестиро-

вания. \

272

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 273

Первый — самостоятельное, параллельное психоди-

агностическое обследование, которое может провести

школьный психолог или подготовленный педагог.

Второй — когда заранее проведён психологический

анализ выделенных в дидактическом тесте индикаторов

и, если психодиагностический потенциал теста слаб, его

дополняют специально подобранные, значимые для дан-

ной: образовательной области индикаторы, а также

психодиагностические методики (автономные или в виде

субтестов).

Порядок проведения психодиагностического

обследования будет зависеть от содержания и

характера диагностируемых учебных достижений (или

видов практической профессиональной деятельности) и

должен в конкретном случае обосновываться и

мотивироваться.

Для чистоты диагностического среза важцо, будут

ли давать обследуемому психодиагностические тесты

до, вперемежку или после дидактических тестовых

заданий.

Ориентация психодиагностических тестов на те же

логические структуры, что и дидактические тесты кон-

троля знаний, может сыграть роль «настройки». Но на-

сколько такая «настройка» (предваряющая ориентиров-

ка) входит в специфические задачи дидактического тес-

тирования — трудно сказать однозначно без

конкретного анализа определённой ситуации.

Психологическая валидность дидактического теста

в своей конструктной части может быть представлена

только в качестве модели-конструкта, хотя здесь есть

свои особенности. В часах она не измеряется, а вот для

определения процентных весов каждого элемента

конструкта и их взаимосвязи могут использоваться не

только экспертные оценки.

Множество уже проведённых психологами исследо-

ваний привело к выявлению корреляций между различ-

ными характеристиками психологических феноменов —

Ч А С Т Ь В Т О Р А Я

свойств личности, их структурными факторами, взаимо-

связи параметров личности (оперативной памяти,

свойств мышления, внимания и т.п.) между собой в

конкретных видах деятельности.

Необходимо эти данные отыскивать и вводить в

качестве поправочных коэффициентов к экспертным

оценкам.

Затруднения здесь связаны с тем, что многие

данные такого рода не систематизированы (так как

отсутствуют банки диагностической информации), но их

ещё можно найти в многочисленных сборниках, личных и

кафедральных архивах.

Но и эти результаты зачастую получены на различ-

ных нерепрезентативных для теста контингентах и

обсчитываются по различным компьютерным

программам и по разным методикам, в том числе — по

сугубо специальным, построенным под решение

специфических задач на конкретном контингенте.

Возможность их экстраполяции неизвестна, а данные о

надёжности и валидности методик Далеко не всегда

представлены.

При профессиональном подходе к стандартизации

дидактического теста для психологической его

валидизации необходим квалифицированный психолог,

который в учебном заведении может и не работать.

Самостоятельно разобраться в непростых вопросах

психологического анализа и построения конструкта

дидактического теста обычному школьному или

вузовскому преподавателю вряд ли по силам.

Поэтому пока не будут созданы банки психодиагнос-

тической информации, проводить психологическую ва-

лидизацию дидактических тестов реально смогут лишь

те коллективы разработчиков, которым будут помогать

квалифицированные психологи.

На региональном и республиканском уровне необхо-

димо создать специализированные центры

дидактического тестирования с квалифицированными

274

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 275

психологами и постоянно пополняемыми

информационными банками как собственно

диагностических данных, так и банками данных о том,

как работают сами диагностические методики. То есть

какие коэффициенты получены по различным вариантам

проверки надёжности и валидности, насколько были

репрезентативны (и в каком отношении) контингенты

учащихся, на которых они проверялись, какого типа

задания срабатывали на тех или иных контин-гентах

обследованных лучше, а какие — хуже.

Задача разработки технологии и коэффициентов

психологической валидизации дидактических тестов

сверхактуальна, требует специальных методологических

и прикладных исследований и хорошего аппаратурного и

финансового обеспечения.

Без психологической валидизации проблематичны

попытки адаптации переводных тестов к иным социо-

культурным условиям. Негативно скажется психолинг-

вистическая несовместимость (или различия) многих по-

нятий, поведенческих особенностей этносов, в условиях

которых создавались методики и получались нормативы,

с теми, где эти тесты пытаются адаптировать. Например,

вряд ли немецкий тест, ориентированный на пунктуаль-

ного и скрупулёзного студента, будет правильно понят

латиноамериканцами или жителями Средней Азии, где

со временем обращаются более чем свободно.

Потребуется пересмотр нормативов (где опять без

психолога-профессионала не обойтись).

Адаптация переводных тестов очень трудоёмка —

почти с теми же усилиями можно создавать свои, отече-

ственные. В то же время и переводные тесты, особо

популярные на Западе и имеющие множество данных

критериальной и факторной валидности, нужны, — они

позволят сравнивать успехи наших учащихся со

сверстниками за рубежём, при вхождении в

международное сообщество.

Ч А С Т Ь В Т О Р А Я

Ещё одним перспективным и чрезвычайно важным

направлением исследований в области конструктной

психологической валидизации стандартных

дидактических тестов было бы следующее. Каждый

дидактический тест, прошедший стандартизацию,

должен иметь достаточно устойчивую структуру заданий

и одновременно свой потенциал развития и

совершенствования. Причём как с ди-дактико-

диагностической стороны, так и с психологической.

Надеяться на то, что к большинству вновь создавае-

мых дидактических тестов в обозримый период удастся

найти показатели факторной зависимости компонентов

его психологического конструкта, было бы большим оп-

тимизмом. Значит, наряду с путём поиска в отчётах и ли-

тературе таких данных целесообразна организация,

серии методологических исследований по установлению

этой зависимости в имеющихся тестах.

Это позволит определить реальную психологическую

ориентацию дидактического теста в соответствии с офи-

циально провозглашёнными целями тестового контроля

и целями обучения. Например, тест по биологии такого-

то автора реально диагностирует не естественнонаучное

мышление и знание в этой области, а прочность механи-

ческой памяти испытуемого при запоминании и воспро-

изведении классификаций видов, подвидов и т.д. (на

80%) и только на 20% умение выделять в совокупности

фактов (примеров) главное и существенное. Другой тест

не менее уважаемого автора построен в обратной

пропорции. Не затрагивая пока вопрос о том, как

каждый из этих тестов отражает российский

федеральный стандарт образования, отметим, что на

каких-то этапах процесса обучения каждый из них

может найти применение — хотя бы для проверки тех

аспектов, на которые каждый из них нацелен в большей

степени.

Включение такого типа данных о тесте как диагнос-

тической методике в описание и рекламу теста сущест-

276

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 277

венно повысило бы шансы учителей-пользователей ото-

брать нужный им тест.

Концептуальная валидность дидактического теста

Отмечавшаяся некорректность диагностической тер-

минологии связана с тем, что термины «концептуаль-

ная», «конструктная», «содержательная», «теоретичес-

кая», «внутренняя валидность» используются как парал-

лельные и однозначные.

Так, характеризуя концептуальную валидность, B.C.

Аванесов подразумевает под нею конструктную (con-

struct) валидность. Он отмечает, что её исходным пунк-

том является анализ основных понятий, где исследовате-

ли часто сталкиваются с недостаточной пригодностью

естественного языка для научного анализа (из-за

наличия в языке обыденных представлений, историко-

культурных наслоений и контекстов). Для её

определения применяется факторный анализ, дающий

возможность с помощью математики внести

структурную строгость и определённость в термины,

даже такие многослойные, как интеллект,

мировоззрение и т.п. [2, с. 146].

Учитывая некорректность применения психолого-пе-

дагогической терминологии, на обязательном этапе

содержательной валидизации теста необходима

конкретизация и операционализация используемых

понятий — от лежащих в основе конструкта и программ

обучения до применяемых в процедурах сбора и

обработки информации.

Операционализация понятий в сочетании со структу-

рированием эмпирических индикаторов методами фак-

торного анализа даёт возможность проанализировать и

сопоставить эмпирическую структуру теоретического

конструкта и входящих в него понятий с точки зрения

совпадения его с трактовкой этих понятий

разработчиком методики и научными авторитетами,

словарями.

Ч А С Т Ь В Т О Р А Я

При анализе концептуальной (конструктной) валид-

ности рассматривается степень совпадения состава

эмпирических индикаторов, особенности факторного

анализа [2, с. 145-149].

В настоящее время в качестве параллельных и

тождественных в переводной и отечественной

литературе сосуществуют как минимум четыре термина,

которые, по мнению исследователей (которые их

используют), должны характеризовать одно и то же.

« Констру ктная », « теоретическая », «

психологическая», «концептуальная» валидность

связаны с измерениями того, насколько тест (или другая

экспериментальная, диагностическая методика)

адекватно диагностирует модели и отражённые в них

реальные явления, объекты, свойства.

Как показывает проведенный выше анализ процесса

содержательной валидизации, её составным и

обязательным элементом является то, что

подразумевается под конструктной валидностью. Для

этого же используются упоминавшиеся B.C. Аванесовым

процедуры факторного анализа и операционализации

понятий.

Но та же конструктная валидность может быть в ди-

дактическом тестировании психологической. То есть

представлять конструкт-модель психических свойств, со-

стояний, процессов. Это отличает её от концептуальной

валидности, более «дидактико-методологической» по

своему характеру (ориентированной на отражение

учебных планов, программ, фрагментов знаний из

учебных пособий или объектно-предметной

междисциплинарной сферы деятельности). Именно в

таком контексте целесообразно употреблять термины

«содержательная», «конструктная» и «психологическая»

валидность.

Это вторая функция психологической валидности в

дидактическом тесте (первая, как отмечалось выше, —

характеризовать психологическое содержание тестовых

278

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 279

заданий, диагностирующих конкретные знания и умения

разной степени сложности).

Концептуальная валидность дидактического теста

показывает: в основе учебника, учебного пособия, типо-

вой или рабочей программы всегда объективно

заложена определённая концепция учебного предмета.

Она отражает представление авторов теста о том, что в

учебном мате-Риале является более или менее

значимым, какие разде-

Л1

>1, темы, главы, вопросы,

учебные элементы заслуживают в изложении и

объяснении большего или меньшего внимания, какие

знания должны быть закреплены особо прочно, какие —

быть только «информационным фоном».

Далеко не всегда, к сожалению, эта концепция пред-

мета чётко и последовательно, хотя бы кратко, излагает-

ся самими авторами. Вероятно, и не всегда достаточно

ясно осознаётся. По крайней мере, многие учителя,

обучающие по новым учебникам, затрудняются ответить

на вопрос — какая же концептуальная система лежит в

основе учебника. По их мнению, нередко это просто

эклектика.

Соотношение целей обучения по федеральным и

региональным стандартам образования и реальных

целей тестирования позволяет выявить такого рода

противоречия.

При разработке нового теста анализ концептуальной

валидности позволяет привести его в соответствие с

концепцией предмета и учебника, а при экспертизе

имеющегося, адаптируемого теста решить вопрос о

целесообразности использования.

Количественные методы при описании концептуаль-

ной валидности теста не применяются, она строится

целиком и полностью на дидактическом и логико-

психологическом анализе заданий, основанном на

результатах спецификации, куррикулярной и

конструктной валидности.

Ч А С Т Ь В Т О Р А Я

С формальной стороны при анализе конструктной и

концептуальной валидности теста можно составить

перечень отклонений теста от типовой (учебной)

программы, от конструкта учебника (программы) с

указанием рекомендаций по совершенствованию,

доводке теста.

Концептуальная валидность в дидактическом тесте

— неотъемлемая характеристика наряду с куррику-

лярной (программной), конструктной и психологической

валидностью. Это разные аспекты содержательной

валидности теста (и, соответственно, процесса его

содержательной валидизации).

Заслуживает специального методологического

исследования выявление возможностей применения

математи-ко-статистических методов для

характеристики концептуальной валидности теста.

Ведь имеется опыт математического анализа

социальных и экономических моделей, применения

математической логики.

В социологии, социальной психологии, а последнее

время — и в педагогике применяются варианты

контент-анализа, основанного на использовании

количественных методов для определения как

формальных, так и качественных характеристик

текстовой информации. Немалые возможности, как нам

представляется, могут быть раскрыты при

использовании таксономии, моделировании и

сравнительном анализе идеальных систем.

Современная зарубежная тестология (преимущест-

венно психологическая) в этом плане ничего не может

предложить, так как сама не имеет такого математичес-

кого аппарата. Поэтому следует, привлекая математиков

к созданию дидактической тестологии, разрабатывать

математическое обеспечение конструктной и

концептуальной валидизации. Тем более что идущая

нарастающими темпами компьютеризация диагностики

и в социологии, и в психологии, и в педагогике ставит

280