Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 261

В тестологии нет ограничений на количество

заданий дидактических тестов: оно доходит в

стандартизированных американских тестах до 200 и

более, не ограничиваясь каким-то удобным для

обработки числом (особенно с появлением и

применением для тестирования компьютерной техники).

Заданий нужно столько, чтобы по возможности

полщ> отразить основное содержание диагностируемого

объёма знаний.

Отдельные вопросы по данным экспертизы набирают

очень небольшие «процентные веса значимости», но

считаются разработчиком необходимыми. Тогда за счёт

включения их в блочные тестовые задания более

сложной композиции такие задания можно сохранить

(только баллы, получаемые за них, окажутся

пропорционально меньше).

Спецификация теста

Спецификация теста является, по признанию веду-

щих тесто логов, обязательной операцией эмпирического

анализа адаптируемого теста, условием создания нового

теста.

Спецификация заключается в том, что строится таб-

лица, в которой указываются:

а) номера вопросов — тест заданий;

б) что они (каждое из них) конкретно диагностируют,

причём в операциональных понятиях.

Чем конкретнее сформулированы диагностические

цели теста в целом, тем легче определить диагностичес-

кие задачи (а таких задач может быть много даже для

одного тестового задания). Спектр возможных

диагностических задач отражён в номенклатуре и

основаниях типологии тестов в целом и тестовых

заданий разного типа. Это самая простая форма

спецификации теста, являющаяся своего рода

Ч А С Т Ь В Т О Р А Я

изначальной базой для этой процедуры. На уровне теста

текущего тематического контроля знаний малоопытному

разработчику можно ею ограничиться.

В то же время для создания более сложных

дидактических тестов необходимо после выполнения

этой работы составить более подробную таблицу, в

которой сверху будут перечислены дидактические цели

(усвоение формул, воспроизводство алгоритмов

действий, чтение таблиц и графиков и т.п.), а слева

будут перечислены все представленные в тесте

разделы, параграфы, темы, важные вопросы. В

результате будет видно, на какие диагностические цели

тест ориентирован и что реально измеряет.

Измерение куррикулярной валидности

Вопрос о единицах измерения куррикулярной содер-

жательной валидности психодиагностами не рассматри-

вался, поскольку содержательная валидизация оценива-

лась как процедура качественного, теоретического

анализа психологического конструкта-модели

диагностируемого свойства, явления, отношения.

Предложенная методика в применении к созданному

или проходящему экспертизу дидактическому тесту поз-

воляет в определённой степени использовать количест-

венные меры.

Куррикулярная валидность близкого к идеальному

предметного дидактического теста, в соответствии с об-

щими традициями валидизации, будет тяготеть к едини-

це (1,0), никогда её реально не достигая.

Поскольку в дидактическом тесте самостоятельным

подструктурным компонентом является тестовое зада-

ние, то можно предложить следующие коэффициенты

куррикулярной валидности:

а) коэффициент полноты охвата содержания про-

граммы тестовыми заданиями — по сумме процентных

весов отдельных тестовых заданий:

262

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 263

где F

— тестовый коэффициент валидности, F

,... F

—

коэффициенты 1-го (л-го заданий), п — число заданий;

б) коэффициент полноты охвата содержания

разделов курса — вычисляется аналогичным образом по

позиции Е как Е

при экспертизе теста рубежного

контроля. В тесте итогового контроля предстаёт в виде:

где т — количество разделов теста;

Ч А С Т Ь В Т О Р А Я

в) аналогичным образом могут быть подсчитаны ох*

ват главы (целесообразен при оценке куррикулярной ва-

лидности теста по учебнику, учебному пособию). При

оценке куррикулярной валидности учебника, учебного

пособия

где п — количество тем.

Возможен (а для перестройки отдельных заданий

целесообразен) ещё один коэффициент — полноты

отражения вопроса в j-м тестовом задании. Но его можно

вывести только в том случае, если экспертиза

«опускалась» до уровня оценки процентного веса

отдельных элементов в составе вопроса теста (5-й

уровень). На такую детализацию эксперты из-за

большого объёма работы идут крайне неохотно.

Однако если в отдельных случаях удаётся получить

такие экспертные оценки, то применительно к отдельно-

му тестовому заданию его можно подсчитать по

формуле:

TQ1= Е (del+de2+...den),

где TQ1 — тестовый вопрос №1 (от test-question), del, ...

den — процентные веса учебных элементов в вопросе —

от 1-го элемента до /i-го (от didactical element), п — коли-

чество учебных элементов, отражённых в тестовом зада-

нии.

Так, если в вопрос темы входит 5 учебных

элементов: del=0,2, de2=0,15; de3=0,3; de4=0,25;

de5=0,l, а в тестовом задании затрагиваются и

проверяются знания только de2 и de5, то TQ1 = 0,15 4- 0,1

где п.—' количество глав в структуре книги;

г) коэффициент охвата темы подсчитывается по

аналогии:

264

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 265

= 0,25, или отражает только 25% объёма содержания

вопроса темы.

Наиболее точные подсчёты куррикулярной валиднос-

ти проводятся с учётом TQ1 как исходного элемента по-

следовательного «восхождения» от 5-го уровня

экспертизы до 2-го или 1-го.

Применяя всю совокупность приведённых коэффици-

ентов при экспертном оценивании по форме 1 (содержа-

ние программы, учебника) и форме 2 (реальный тест —

созданный или адаптируемый), разработчик получит по

тесту следующую информацию:

а) куррикулярную адекватность каждого тестового

задания (по TQl,...TQn);

б) адекватность отражения темы в заданиях (С

с1

—

в) адекватность отражения содержания главы в

зада-

ниях теста (Д

с1

,,.. Д

с/г

);

г) адекватность отражения раздела в заданиях

(Е

, ... Е

сп

);

д) адекватность отражения курса в заданиях теста

—

Как отмечалось выше, наибольшая полнота

информации достигается при высокопрофессиональной

экспертизе, доведённой до уровня учебных элементов.

Это позволяет при расчёте каждого более высокого

иерархического уровня в системе «вопрос — тема —- гла-

ва — раздел -—курс» использовать как исходные более

точные «процентные веса» значимости каждого задания.

Применение в подсчётах среднеквадратических от-

клонений и других принятых статистических мер позво-

ляет предусмотреть с достаточно высокой точностью ва-

риацию ошибок экспертного оценивания и предел досто-

верности ошибок оценивания.

Даже при более грубом, но более вероятном на прак-

тике оценивании учебной программы (учебника,

Ч А С Т Ь В Т О Р А Я

пособия) и теста несколькими экспертами с простым

арифметическим усреднением их оценок разработчик

(или тот, кто проводит адаптацию теста) будет иметь

достаточно чётко выраженную картину куррикулярной

содержательной валидности. Это намного лучше, чем

иметь только сведения, что присланы из авторитетного

вуза, из министерства и т.п.

6.3. ОЧЕВИДНАЯ ВАЛИДНОСТЬ И ЕЁ АНАЛИЗ

Валидность по содержанию не надо смешивать с

очевидной валидностью, показывающей, насколько тест

кажется ценным испытуемому, официальным лицам,

принимающим решение о его использовании, и другим

неспециалистам.

Очевидная валидность — желательное свойство тес-

та, так как в противном случае возможно негативное к

нему отношение, что влияет на обстановку

тестирования. Особенно это важно при тестировании

взрослых.

Для повышения очевидной валидности применяется

переформулировка заданий так, чтобы они казались при-

емлемыми и естественными обследуемым (связывая

задачи с их профессиональными проблемами,

профессиональной лексикой). «Неправильно думать, —

пишет А. Анастази, — что переделка теста повышает его

очевидную валидность. Поэтому валидность теста в его

окончательной форме всегда необходимо проверить

заново» [7, с. 131].

В отечественной литературе редко употребляется

термин «очевидная валидность». B.C. Аванесов

связывает с содержательной валидностью понятие

внешней представительности теста (анг. — face validity)

— включение терминов и выражений, связанных с

видами деятельности обследуемых и умелым

«нелобовым» подбором эмпирических коррелятов

базового понятия [2, с. 143-145]. Это понятие близко (но

266

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 267

не тождественно) термину «очевидная валидность» А.

Анастази.

Очевидная валидность дидактического теста — это,

по сути, субъективное представление о нём как об

инструменте диагностики. Однако в ходе тестирования

оно оказывает весьма реальное влияние на отношение

опрашиваемых и самих диагностов к процедуре и её

результатам. Если тест представляется диагносту

строгим научным инструментом, он верит тесту и

обычно стремится передать такое отношение

обследуемым. Если наоборот, то вряд ли можно ждать

пунктуального соблюдения всех процедур, а несколько

критических реплик организатора тестирования вполне

могут привести к снижению добросовестности работы с

тестом со стороны обследуемых.

В количественной форме очевидная валидность

может быть выражена в прямом виде только через

опрос (или выборочное интервью) тестируемых о том,

понравился ли им тест, считают ли они его полезным и

хорошим инструментом измерения знаний (умений,

качеств и т.п.). В дидактическом тестировании такой

подход вполне целесообразен, особенно если учесть,

что тесты в отечественной педагогике в основном

составляются непрофессионально, включают

действительно неудачные или слишком примитивные

вопросы, вызывая тем самым недоверие.

При апробации дидактического теста желательно

провести опрос об отношении к нему (и к процедуре

тестирования) педагогов-диагностов в качестве

экспертов — их оценки также могли бы

характеризовать очевидную валидность теста.

Технология процедуры опроса такого рода должна

быть отработана и стандартизирована. Это позволит

сопо-^ ставлять данные анализа отношения к

различным дидактическим тестам (в том числе и

конкурентным).

Ч А С Т Ь В Т О Р А Я

Количественные меры здесь могут быть в

принципе те же, что и при определении

содержательной валидности, со всеми теми же

проблемами создания информационных банков

знаний, интерфейсов, коэффициентов и т.п.

6.4. КОНСТРУКТНАЯ ВАЛИДНОСТЬ

ДИДАКТИЧЕСКОГО ТЕСТА

Термины «конструктная» и «содержательная» ва-

лидность являются наиболее употребляемыми в

диагностической литературе. Вслед за ними по

степени распространённости следуют

«критериальная» и «внешняя» валидность.

Сложность проблемы в том, что в других контекстах

— как характеристика особых процедур при проверке,

связанной с каким-либо видом валидности, одни и те же

термины используются в качестве прилагательного,

характеризующего особенность процедуры, её направ-

ленность.

Для профессионала-психолога в основном понятно, о

чём идёт речь. Для педагога-практика — всё это темный

лес, так как само понятие валидизации ему незнакомо.

Психологи нередко некорректны в использовании

терминологии. Как тождественные используются поня-

тия «вид валидности» и «валидизация». Но валидизация

в контексте реальной процедуры нередко связывается с

конкретными математико-статистическими и логически-

ми приёмами работы исследователя. Смешиваются поня-

тия вид и процедура в определении валидности (валиди-

зация), что, как показывает анализ рекомендаций иссле-

дователей, взаимосвязано, но не одно и то же. Один и

тот же вид валидности обеспечивается (как результат)

нередко целым рядом процедур валидизации, зачастую

дополняющих друг друга, но различных по характеру,

содержанию и объёму требуемой работы диагноста и

апробатора.

268

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 269

ТЕРМИНОЛОГИЯ КОНСТРУКТНОЙ ВАЛИДИЗАЦИИ

Без содержательной валидности ни один

дидактический тест не может серьёзно рассматриваться

как измерительный инструмент, ибо пока не определена

его содержательная валидность, непонятно/что же он

измеряет и зачем нужен.

Для психолога это аксиома. Педагоги дриходят к

этой идее методом проб и ошибок или интуитивно —

особенно те, кто сам пытается разрабатывать тесты

контроля знаний. Методология и технология

содержательной валидизации психодиагностических

тестов связывается с его конструктной валидностью.

В дидактическом тестировании ситуация намного

сложнее и запутаннее — хотя бы потому, что не все

наработки психологов здесь применимы, так как в них не

всегда учитывается специфика обучающего эффекта и

кор-рекционный характер самого педагогического

процесса.

В российской системе среднего образования своих

дидактических тестов, выполненных с учётом специфики

педагогического процесса и стандартизированных хотя

бы по минимальным правилам, практически нет. В ре-

зультате мы имеем если не белое, то весьма сероватое

пятно в теории дидактической тестологии, которое

необходимо заполнять совместными усилиями учителей

и исследователей.

Ситуация осложняется запутанностью терминологии

валидизации в более методологически развитых, чем пе-

дагогика, сопредельных науках — как в психологии, так

и в социологии.

Как нам удалось установить, примерно из 40 исполь-

зуемых в литературе терминов около тридцати характе-

ризуют отдельные аспекты валидности. Наряду с ними

применяется около десятка дублирующих — зачастую

неоправданно. Немало самостоятельных, информативно-

Ч А С Т Ь В Т О Р А Я

ценных терминов применяются разными исследователя-

ми в различных контекстах, иногда несовпадающих на-

столько, что трудно понять, о чём, собственно, идёт

речь.

Тем не менее исследователи связывают с содержа-

тельной валидностью теста не только анализ его

соответствия учебным планам и программам (что на

Западе называют куррикулярной, а у нас порою —

программной валидностью), но и определение

конструктной и концептуальной валидности теста.

Конструктная валидность дидактического теста

Конструктная валидность дидактического теста —

это отражение в нём теоретической модели курса, его

структурных пропорций и основных компонентов на всех

уровнях — вплоть до учебных элементов.

Куррикулярная валидность даёт нам лишь основу

для определения конструктной валидности. Она показы-

вает только одно — отражены ли в тесте необходимые с

точки зрения полноты контроля знаний учебные элемен-

ты и какие именно — в диагностируемых тестом разде-

лах, главах, темах, вопросах ранее изучавшегося учебно-

го материала.

Но логическая структура учебного материала — это

не просто совокупность элементов знания, но и их

определённая последовательность, иерархия со сложной

системой координационных и вертикально-

соподчинённых взаимосвязей.

Опыт показывает, что на базе уже проведённой кур-

рикулярной валидизации теста намного легче и быстрее

проводить его конструктную валидизацию — все основ-

ные элементы конструкта-модели теста налицо, ясна

степень их значимости для решения диагностических

задач.

270