Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 251

длинны и йо ним невозможно установить, на какую

сферу поведения рассчитан тест. Валидность — это не

одна общая, а серия конкретных характеристик теста.

По мнению А. Анастази, про валидность нельзя говорить

обобщённо, например, что тест имеет высокую или

низкую валидность. При употреблении этого термина

всегда должно быть указано точное предназначение

теста, в каких аспектах он является валидным, в чём

конкретно валидность проявляется.

Статистический подход к

содержательной валидизации

Содержательная валидность теста описывается в ка-

чественных характеристиках соответствия-несоответст-

вия структуры, содержания, уровня трудности заданий

теста тому содержательному материалу, который тест

призван отражать (знаниям и умениям, усвоение которых

тест контролирует). Поэтому можно говорить о содер-

жательной валидности теста относительно:

а) типового учебного плана (в тесте итогового

контро-

ля по всему объёму, изученному за год, за определённую

ступень обучения или по циклу дисциплин — гуманитар-

ных, естественнонаучных, общественных, или по итогам

изучения в профессиональном учебном заведении дис-

циплин узкой специализации);

б) типовой программы по предмету (тесты всех уров-

ней контроля знаний по данной дисциплине);

в) рабочей программы (точно так же, как и типовой);

г) учебника, учебного пособия, метода разработки,

ав^

торской педагогической технологии учителя-

предметника.

Эти качественные характеристики могут быть выра-

жены количественно:

Ч А С Т Ь В Т О Р А Я

1) в часах, необходимых для изучения дисциплин

(что заложено в учебных планах и типовых программах);

2) в процентных весах экспертной усреднённой

оценки значимости разделов и тем (вплоть до отдельных

пунктов программ и относительно самостоятельных

учебных элементов), полученных экспертным путём.

Здесь, кроме среднестатистических величин, могут

использоваться все меры рассеяния, а применительно к

экспертным оценкам (при научной организации

экспертизы) и коэффициенты согласия экспертов,

индексы их квалификации и т.п. [123; 166].

Данные могут представляться как текстуально, так и

графически в любом варианте подачи — вплоть до голо-

графических изображений, объёмных конструктных мо-

делей и т.д.

Какой-либо общепринятой методики представления

содержательной валидности одним коэффициентом

обнаружить в литературе не удалось. В этом

направлении проводить методологические исследования

не только целесообразно, но и необходимо, так как

решение задачи разработки и обоснование

интегративного коэффициента содержательной

валидности теста возможно. Вполне вероятно, это будет

не один, а несколько коэффициентов, отражающих

различные аспекты содержательной валидности

(куррикулярную — программную валидность, конст-

руктную валидность с дополняющими её коэффициента-

ми сбалансированности и внутренней согласованности

заданий теста, психологическую и концептуальную

валидность и, возможно, даже представительность

теста).

Причём, как нам кажется, для тестов различного

уровня контроля знаний должна быть различная система

требований к измерению содержательной валидности и

комплексности представления её коэффициентов — чем

качественнее и ответственнее проверка, этап контроля,

тем более точно надо знать характеристики

252

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 253

содержательной валидности дидактического теста, так

как более значимы для обследуемого принимаемые по

результатам тестирования решения.

Для текущего и рубежного контроля могут потребо-

ваться (или каким-то особым способом учитываться) ха-

рактеристики типового учебного плана, дополнительные

характеристики, определяющие реальный процентный

вес и значимость данной формы контроля знаний по кон-

кретному предмету.

В.А. Бодров в 1985 г. отмечал, что «в исследованиях

по психологическому отбору неоправданно снизился ин-

терес как к вопросам использования современного мате-

матического аппарата для оценки валидности,

надёжности и дифференцированности методических

приёмов, так и для выработки частных и интегральных

критериев профпригодности» [26, с. 94].

По мере компьютеризации психодиагностики расчё-

ты валидности приводятся всё чаще, но в основном это

касается критериальной факторной валидности, а не

содержательной. Так что в педагогической диагностике

решать проблемы количественного измерения

содержательной валидности методик педагогам-

диагностам придётся самим, используя накопленный в

экспериментальной дидактике опыт (и попытки, в том

числе неудачные) измерения характеристик учебного

материала, параметров учебного процесса. Здесь могут

пригодиться невостребованные практикой массовой

школы системы количественной оценки различных

характеристик учебников и учебных пособий,

обсуждавшиеся в 70-80-е годы на конференциях и

совещаниях по проблемам школьных и вузовских

учебников.

ОПРЕДЕЛЕНИЕ КУРРИКУЛЯРНОЙ

(ПРОГРАММНОЙ) ВАЛИДНОСТИ

ДИДАКТИЧЕСКОГО ТЕСТА

Ч А С Т Ь В Т О Р А Я

Термин «куррикулярная валидность» хотя и право-

мерен, но непривычен для бывшего советского педагога.

Сейчас он используется в европейской педагогической

диагностике, в частности К. Ингенкампом. В

дореволюционной русской педагогической литературе

куррикулум был хорошо знакомым для преподавателей

гимназий и вузов термином, наряду с другими

педагогическими терминами иноязычного

происхождения.

В отечественной литературе можно встретить

используемый для этих же целей термин «программная

валидность», который мы также будем употреблять

как параллельный «куррикулярной валидности»,

хотя западный термин представляется нам более

ёмким, включающим в себя валидизацию по

программе как частный случай (если иметь в виду

учебные программы).

Процедуры куррикулярной валидизации

Предлагаемая технология куррикулярной

валидизации дидактического теста является

авторской разработкой, основанной на обобщении

опыта содержательной валидизации дидактических

и психодиагностических тестов и на проведённой

экспериментальной работе в лаборатории

компьютеризации учебного процесса Бухарского

технологического института пищевой и лёгкой

промышленности и Ростовском областном ИПК и

ПРО.

ИЕРАРХИЧЕСКАЯ НУМЕРАЦИЯ ИНФОРМАЦИИ В

тиДовой или рабочей программе, в учебнике, учеб-

ном пособии последовательно иерархически

нумеруется информация:

а)разделов курса;

254

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 255

б)тем внутри каждого раздела;

в) подтем (глав) внутри каждой темы;

г) рассматриваемых вопросов, имеющих

относитель-

ную самостоятельность (пункты программы,

смысловые

группы учебных материалов, параграфов в

учебниках и

пособиях);

д) учебных элементов (под которыми мы имеем

в виду

относительно самостоятельные фрагменты знаний и

тре-

буемые от учащегося умения, формулы, таблицы,

зада-

ния, понятийные определения, примеры и т.п.).

Так как в типовых и рабочих программах до

уровня описания учебных элементов детализация

обычно не доходит —- нумерация делается на

основе либо структуры учебного пособия, либо в

(программах) на основе планов и методразработок

лабораторно-практических, семинарских занятий.

ПОДГОТОВКА БЛАНКОВ ЭКСПЕРТИЗЫ Для

экспертного анализа — основного звена куррику-лярной

валидизации — составляется и распечатывается (в

количестве, соответствующем числу экспертов плюс ещё

2-3 экземпляра) «Бланк экспертной оценки значимости

(процентного веса) учебного материала».

В левой колонке приводится сквозная нумерация

оцениваемых позиций учебного материала (в соответст-

вии с типовой или рабочей программой, учебником или

учебным пособием). В прочих колонках указываются

параметры, по которым проводится экспертное оценива-

ние. Рекомендуется выделять параметры, соответствую-

щие различным иерархическим уровням экспертного

Ч А С Т Ь В Т О Р А Я

оценивания (пример даётся из вузовского курса общей

физики).

ФОРМИРОВАНИЕ ЭКСПЕРТНОЙ ГРУППЫ

Экспертная группа формируется в соответствии с ре-

комендациями специалистов по экспертному опросу —

Б.С. Гершунского [34], B.C. Черепанова [162] — как ми-

нимум из двух подгрупп.*

В одну подгруппу включаются опытные педагоги, ра-

ботающие по данной типовой (рабочей) программе в

вузе, техникуме, училище, школе, где создан тест

(желательно не менее 10 человек), во вторую —

эксперты из других учебных заведений, где преподаётся

тот же предмет.

При валидизации «школьного» теста лучше пригла-

шать в качестве экспертов руководителей школ,

представителей предметного или циклового

методобъединения района (города), а в областных

центрах, имеющих свои педагогические вузы и

институты повышения квалифи^ кации учителей, —

создавать творческие группы, занимающиеся

педагогической инновацией.

Идеальным вариантом было бы создание двух-трёх

разнородных по статусу экспертных групп: например,

одна — из вузовских ученых-предметников, другая — из

лучших педагогов школ — членов методобъединения,

третья — из независимых иногородних учителей, имею-

щих высшие аттестационные разряды и собственные

опубликованные или апробированные разработки.

Практика показывает, что и двух групп экспертов

вполне достаточно. Но так как для России это дело но-

вое, то привлечение к работе третьей группы желатель-

но. Особенно если валидизируется тест итогового кон-

троля по результатам обучения в основной или полной

средней школе.

Это только будет способствовать надёжности и

достоверности полученных данных экспертизы. Чем

256

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 257

больше вариантов куррикулярной валидизации будет

проведено с тестом, тем легче разработчику или

апробатору установить возможные перекосы, дать

конкретные рекомендации по совершенствованию

содержания и структуры (композиции) теста.

Экономия времени на куррикулярной валидизации

может привести к созданию содержательно

недостаточно валидного теста даже при условии

строгого соблюдения всех остальных процедур

валидизации.

Намечая общую для российской педагогики страте-

гию разработки и стандартизации (в том числе — и вали-

дизации) дидактических тестов, целесообразно идти сле-

дующим путём. В идеальном варианте по одному учебно-

му курсу необходим спектр тестов, в котором ядром

будет стандартизированный тест, а вокруг него будут

группироваться:

а) его «профилированные» по специальностям моди-

фикации (если тест вузовский или для колледжей,

профтехучилищ), а для средних школ — адаптирован-

ные к типу школы (государственная школа, реальная

или классическая гимназия, лицейские классы со спе-

циализацией или углублённым изучением группы пред-

метов и т.п.);

б) специализированные субтесты, которые дополни-

тельно могут использоваться при тестировании

студентов

каждой специальности для углублённой этиологической

диагностики для выявления:

— причин ошибок («методический» субтест);

— для отбора особо способных учащихся в средней

школе;

— для группировок учащихся различных «профили-

рованных» учебных групп при их комплектации и изме-

нениях состава;

Ч А С Т Ь В Т О Р А Я

— для определения особо слабых и выработки для

них личностно-ориентированных коррекционных мер,

программ (или для направления в классы коррекции,

иные «потоки», как это делается за рубежом).

Учитывая, что на это потребуются большие трудозат-

раты, подобный подход можно рекомендовать только

для особо важных тестов итогового контроля и

отборочных (в вузы, гимназические и лицейские классы

средней школы, в спецшколы повышенного типа или для

детей с отклонениями в развитии).

В остальных случаях, пока в России не будут созданы

свои профессиональные центры разработки и апробации

тестов, это было бы неэкономично.

Ситуации куррикулярной валидизации

Типичны следующие ситуации куррикулярной вали-

дизации предметного дидактического теста:

а) разработка теста находится в стадии замысла

(цель

чётко сформулирована и подобраны отдельные задания);

б) тест разработан, несколько раз проводился и име-

ются какие-то обработанные результаты, но ни проверки

надёжности, ни валидизации тест не проходил;

в) имеется нормативный, прошедший стандартиза-

цию (но на другом контингенте, возможно, по другим

программам) тест, вызывающий сомнения и требующий

дополнительной адаптации к новым группам учащихся

(например, альтернативных школ).

К этому случаю относится и адаптация переводных

тестов. В любом случае эксперты получают подробную

инструкцию по оцениванию, где описано, каким образом

им предстоит дать «процентные веса» в масштабах

курса, который берётся за 100%, раздела — тоже 100%

для каждой главы и т.д. до уровня учебного элемента по

всему cot держанию учебного материала. Затем

258

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 259

разработчик теста сам, не утруждая экспертов,

проводит дополнительные подсчёты:

1) просчитывает средние оценки по каждой группе

экспертов по всем позициям (желательно учесть средне-

квадратичное отклонение и вариационный размах оце-

нок);

2) в специальной таблице пересчитывают по

средним оценкам экспертов их представления по

позициям:

А — отношение темы к разделу, В —

отношение темы к курсу, D —

отношение вопроса к главе, Е —

отношение вопроса к разделу, F —

отношение вопроса к курсу.

При создании тестов рубежного и итогового

контроля такой уровень детализации вполне достаточен

для формулировки отдельных тестовых заданий.

В тех же случаях, когда по принципиальным сообра-

жениям (связанным с особой значимостью отдельных

учебных элементов) возникает необходимость выделить

на какой-либо элемент отдельное самостоятельное

тестовое задание, целесообразно просчитать и его

значимость по всем уровням структурной иерархии

учебного материала. В результате будут получены

процентные веса для каждого планируемого задания

теста.

Если же проверяется уже готовый тест, то после его

спецификации можно будет на основе полученных дан-

ных легко определить, каков реальный процентный вес

каждого тестового задания (и всей их совокупности) при

контроле знаний в данном тесте (в сравнении с

реальным процентным весом данного вопроса,

найденным по полученной таблице экспертной оценки

значимости диагностируемого учебного материала).

Ч А С Т Ь В Т О Р А Я

УРОВНИ КУРРИКУЛЯРНОЙ ВАЛИДИЗАЦИИ

ДИДАКТИЧЕСКОГО ПРЕДМЕТНОГО

ТЕСТА *

Результаты оценки сравнительной значимости учеб-

ного материала можно проследить на примере из

первого варианта теста по курсу общей физики

Бухарского технологического института (составитель

И.У. Шаропов).

СРАВНИТЕЛЬНАЯ ЗНАЧИМОСТЬ УЧЕБНОГО МАТЕРИАЛА

ПО РАБОЧЕЙ ПРОГРАММЕ И КОНТРОЛЬНЫМ ВОПРОСАМ

ТЕСТА

В варианте теста рубежного контроля был сформу-

лирован вопрос-задание «Что называется средней скоро-

стью движения?» (тест II уровня по типологии В.П. Бес-

палько) наряду с другими тремя вопросами-заданиями по

этому учебному элементу. По экспертным -оценкам его

процентные веса указаны по отношению к разделу,

знания которого диагностировались в субтесте, ■— это

только 0,36%. Но весь субтест включал 25 вопросов,

каждый из которых считался равнотрудным для студен-

тов. Значит, одно задание в среднем должно охватывать

4% объёма материала (почти в 10 раз больше, чем по

оценке экспертов).

Поэтому надо либо увеличить количество заданий

такого уровня обобщённости в тесте, либо снять это

задание как малоинформативное и заменить его таким,

которое (при сохранении в тесте 25 заданий) будет

охватывать значительно больший объём учебного

материала.

Определение необходимого количества заданий

в тесте (субтесте)

260