Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 341

процесса обучения. Уже в 70-х годах при разработке

программы изучения реальных учебных возможностей

учащихся с помощью педконсилиума предлагались

типичные педагогические коррекционные мероприятия.

Они рекомендовались при выявленных низких или

средних «западающих» компонентах тех или иных пока-

зателей реальных учебных (учебно-воспитательных) воз-

можностей учащихся. Но измерение в педконсилиуме

проводилось не дидактическими тестами, а экспертным

оцениванием (рейтингом), дополненным данными эле-

ментарных психодиагностических методик и сопровож-

даемым целенаправленной групповой дискуссией педаго-

гов-участников.

Как реализовать этот подход при дидактическом тес-

тировании — следует искать в методологических экспе-

риментах. Явным плюсом при внедрении требования пе-

дагогической валидности как условия публикации диа-

гностико-педагогической методики было бы существен-

ное сокращение затрат времени педагогов (особенно с

невысокой диагностическбй подготовкой) на выработку

оррекционных мер, которые в типичных случаях могли

бы дублироваться у учащихся одной учебной группы или

тестируемого потока,

В методологическом плане такой подход стимулирует

решение малоразработанных в педагогике вопросов типо-

логизации диагноза. Это, вполне возможно, потребует от

исследователей экскурса в опыт технологии медицинско-

го (а особенно психиатрического) диагноза, где эта про-

блема сотни лет решается практически. Но и медики от-

мечали, что одной типологизации и стандартизации кор-

рекционных мер на основе типовых диагнозов не доста-

точно для излечения больного, особенно в сложных слу-

чаях, когда необходимы ещё и мастерство, и интуиция

диагноста.

При компьютерной дидактической диагностике ма-

стерство и интуиция пока остаются не востребованными.

Теоретически можно предсказать, что пока не созда-

ны ЭВМ со всеми сущностными характеристиками само-

Ч А С Т Ь В Т О Р А Я

обучающегося интеллекта человека, проблема «остатков»

будет существовать, и опытного педагога-диагноста

можно будет подменить самой лучшей программой для

ПЭВМ только до уровня алгоритмично выполняемых ти-

повых процедур. Но и это было бы подспорьем, так как

могло бы освободить усилия и время диагноста как раз на

дополнение, индивидуализацию диагноза дидактического

теста (особенно компьютерного), но лишь при условии

надёжности и валидности диагноза.

Определение типовых мер педагогической валидиза-

ции дидактического теста может идти по линии опыта

прикладной социологии, разрабатывавшей с 60-х годов

метод таксономии и проблематику распознавания образов

(в связи с выборкой, оценкой репрезентативности данных,

формулировкой эмпирических выводов).

На современном уровне разработки дидактической

диагностики и дидактического тестирования можно

предположить, что проще и легче всего педагогическая

валидизация будет осуществляться в монопредметных

тестах текущего контроля.

Сложнее всего её будет, по нашим прогнозам, прово-

дить в тестах отбора абитуриентов, аспирантов, кандида-

тов в магистратуру, в комплексных батареях тестов атте-

стации профессиональных знаний и общекультурного

уровня, охватывающих циклы учебных предметов и

сложных межпредметных связей. То же — и в прогности-

чески ориентированных тестах обучаемости по химии,

физике и т.д., где будет достаточно силён психодиагнос-

тический компонент.

Включение в дидактические диагностико-коррекци-

онные программы психодиагностических тестов на выяв-

ление особенностей обучаемости как психического свой-

ства личности также может осложнять достижение высо-

кой педагогической валидности. Но выигрыш (во времени,

в росте диагностико-коррекционной квалификации) для

малоопытных тестологов так же очевиден, как и польза

от применения таблицы умножения и таблицы ло-

гарифмов. Чем более развёрнутыми, профессиональными

342

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 343

будут исследования в области педагогической валидиза-

ции, тем больше педагог будет оснащён таким справоч-

ным материалом. Так что при всех сложностях это весьма

перспективное направление методологических экспери-

ментов, способствующее созданию полноценных диагнос-

тических баз данных для дидактического тестирования.

ПРОЦЕДУРЫ И МЕТОДЫ

ПЕДАГОГИЧЕСКОЙ ВАЛИДИЗАЦИИ

Поскольку сама проблема педагогической валидиза-

ции пока только обозначена и опыт её решения ограни-

чен, можно лишь предполагать возможные практические

подходы к её решению. На наш взгляд, безусловно следу-

ющее:

1. Необходимо применение экспертного метода с уча-

стием опытных педагогов, методистов и практических

психологов к выработке по тому или иному стандартизи-

рованному дидактическому тесту типовых коррекцион-

Hbix мер.

2. Должно быть проведено исследование корреляций,

учитывая опыт проведения психологами перспективной и

ретроспективной прогностической валидизации, а также

следует установить текущую критериальную валидность

вариантов (комплексов) коррекционных мер с типовыми

данными диагнозов по тесту.

3. Понадобится таксономический подход и распозна-

вание образов для соотношения многопараметровых кор-

рекционных мер с типовыми диагнозами. От сложности

комплекса диагностических показателей будет зависеть

технико-математическое и программно-педагогическое

компьютерное обеспечение.

4. Надо установить по каждому типу тестов целесооб-

разный уровень типологизации диагнозов (по степени

полноты и глубины, развёрнутости).

5. Определение целесообразности типологизации пе-

дагогических диагнозов и прогнозов должно мотивиро-

ваться, в первую очередь, минимально необходимой сте-

пенью прогностичности дидактического теста по отноше-

Ч А С Т Ь В Т О Р А Я

нию к глубине усвоения знаний. Возможно, что в тестах

контроля особо сложных профессиональных знаний, а

также тех, где цена ошибки очень высока (операторы

АЭС, лётчики и т.п.), этот подход будет недостаточно про-

дуктивен либо потребует трудоёмкой и многолетней экс-

периментальной работы.

6. Во всех случаях необходима будет строгая

операционализация понятий и диагноза, коррекционных

мер, создание терминологических словарей с

однозначным операционным толкованием очень

некорректной в настоящее время педагогической

терминологии.

7. Введение педагогической валидности в систему

требований к стандартизации дидактического теста не

только повысит его прогностическую и коррекционную

ценность, но и усложнит инструктивно-методический ма-

териал. Вероятнее всего, это приведёт к удорожанию

про-

цесса создания хорошего теста и росту его рыночной

стои-

мости, потребует целенаправленных субсидий и грантов

на разработку проблем экономического аспекта дидакти-

ческой тестологии.

Педагогическая валидность наименее исследована и

представляет собой скорее гипотетический вид валиднос-

ти, чем технологически разработанную процедуру. Тем не

менее и в педагогической диагностике в целом, и в

дидактическом тестировании как важной отрасли

дидактической диагностики она чрезвычайно необходима.

Сам факт её проверки связан с рецептурной стороной

педагогического диагноза.

Сколько бы сторонники интуитивного подхода в обу-

чении и в диагностике не утверждали, что педагогика —

это искусство, в обучении всегда есть определённая алго-

ритмичность и рецептурность, как бы мы её ни называли.

Разумеется, она не должна претендовать на исчерпываю-

щий педагогический диагноз, но в какой-то (и обычно не-

малой) своей части этот диагноз поддаётся достаточно

жёсткой и последовательной алгоритмизации: «при

344

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 345

таких-то данных надо как минимум делать то-то». Далее

— возможности творчества и интуиции, поиска и т.д.

Проблемы технологии педагогической валидизации

могут решаться только опытно-экспериментальным пу-

тём.

Как и другие приведённые выше виды валидности,

педагогическая валидность требует постепенного

накопления и создания банков информационных

диагностических данных. Основной путь здесь —

установление корреляции результатов диагноза по

определённым показателям тестов и результатов строго

выполняемых по этим диагнозам коррекционных мер с

экспертной оценкой педагогами и самими

обследователями эффективности этих мер (для чего

возможно, на наш взгляд, использование методики по-

строения самооценочных интервальных шкал).

При накоплении достаточного количества данных по

предметному или межпредметному дидактическому

тесту Можно будет, в перспективе, прогнозировать не

только успешность будущей критериально оцениваемой

деятельности испытуемого, но и возможную степень

эффективности типового комплекса коррекционных

мероприятий. А При получении данных о факторной

зависимости этих мероприятий от характера диагноза и

их взаимосвязи, удельном весе в достижении

коррекционного эффекта (при данном диагнозе по

конкретным тестовым показателям) откроется

возможность вводить поправочные коэффициенты к

показателям критериального прогноза. Тем самым будет

достигаться большая точность прогноза, который в

педагогической диагностике рекомендуется делать в

нескольких вариантах:

а) оптимистическом (с учётом активной саморегуля-

ции, самообразования, интенсивного и оптимального до-

обучения и развития учащегося);

б) пессимистическом (возможность усиления нега-

тивного влияния отрицательных факторов, пробелов в

знаниях и т.п. при сложившемся положении дел);

Ч А С Т Ь В Т О Р А Я

в) реалистически-усреднённом (с учётом возможнос-

ти определённой самокорректировки и дообучения при

обычной для педагогов и учащихся активности).

Методология и технология педагогической валидиза-

ции ждёт своего решения в организации системы специ-

альных методологических исследований. В перспективе,

по мере накопления данных, можно будет ставить вопрос

о включении сведений о педагогической валидности в

проспекты и рекламные материалы по всем диагностиче-

ским тестам как обязательное требование стандартного

теста (как по дидактическим, так и по психодиагностиче-

ским).

6.7. ЭМПИРИЧЕСКАЯ ВАЛИДИЗАЦИЯ

ПОНЯТИЕ «ЭМПИРИЧЕСКАЯ

ВАЛИДИЗАЦИЯ»

В психолого-педагогической и социологической лите-

ратуре, посвященной проблемам измерения, часто упо-

требляется понятие «эмпирическая валидность» и как

производное от него — «эмпирическая валидизация».

По смыслу эмпирическая валидность противопостав-

ляется теоретической. Но теоретическая валидность в

свою очередь часто отождествляется психологами с

содержательной (и особенно с концептуальной). В какой

степени эти понятия совпадают и в чём они разнятся? Во

избежание путаницы в терминологии дидактического

тестирования необходимо проанализировать структуру

эмпирической валидности, определить, какие виды

валидизации в неё входят, с какими видами

теоретической валидности она наиболее тесно связана.

Анализ проблематики валидизации в предшествую-

щих разделах позволяет все их объединить под общим

термином теоретической валидности. По нашему мнению,

нет непроходимой стены между теоретической и эм-

пирической валидностью теста.

346

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 347

В чём главное отличие эмпирической валидности от

теоретической и особенно содержательной?

Прислушаемся к мнениям ведущих психодиагностов.

Указывая на взаимосвязь содержательной и практической

валидности, Ю.З. Гильбух пишет, что первый тип

(содержательная) «является необходимым, но не доста-

точным условием второго; вместе с тем отсутствие у

методики практической валидности во многих случаях (но

отнюдь не всегда) может служить основанием для более

глубокого анализа её содержательной валидности» [37, с.

119]. А.Г. Шмелёв отмечает, что если содержательная

валидность устанавливается с помощью экспертов, то эм-

пирическая валидность «измеряется всегда с помощью

статистического коррелирования. Подсчитывается кор-

реляция двух рядов знаний — баллов по тесту и показате-

лей по внешнему параметру, избранному в качестве кри-

терия валидности» [103, с. 76].

Таким образом, к эмпирической валидности будут от-

носиться все процедуры, связанные с математико-статис-

тическим анализом различных корреляционных соотно-

шений (тестов друг с другом; субтестов и заданий внутри

каждого теста; тестов с внешними критериями, представ-

ленными в количественной форме). Если при этом прила-

гательное «эмпирический» аналогично «математико-ста-

тистический» и не несёт дополнительно какой-либо смыс-

ловой нагрузки, то оно лишь вносит путаницу в термино-

логию тестологии. Противопоставление эмпирической и

содержательной валидизации весьма относительно, если

учесть, что экспертные методы в наше время тесно связа-

ны с количественной обработкой данных, с применением

многообразных приёмов математического анализа для от-

бора и оценки наиболее компетентных экспертов, опреде-

ления степени согласованности мнений экспертов и т.п.

[162].

Рассмотрение различных видов теоретической валид-

ности показывает, что они во многом связаны с корреля-

ционным факторным анализом. Но не сами по себе, как

голые эмпирические техники, а как средство построения

Ч А С Т Ь В Т О Р А Я

и изучения теоретических конструктов (иерархии и взаи-

мосвязи их элементов), сложных критериев.

«Ползучий эмпиризм» социологии и психологии в

США и Западной Европе в 30-60-х гг. XX в. компенсировал

отсутствие теории, максимально конкретизируя выводы и

практические рекомендации.

Математизация психологии и социологии в сочетании

с крайностями увлечений сугубо прикладными про-

блемами диагностики порождали увлечение формулами и

индексами как противовесами малообоснованным теоре-

тическим спекуляциям. Но при этом не замечались рас-

ширившиеся возможности теоретического анализа на ба-

зе структурно-системного подхода. Классик американской

социологии П. Сорокин, энергично критикуя ползучий

эмпиризм, вводит иронические термины для его ха-

рактеристики — такие, как «квантофрения» и «числоло-

гия», подчёркивая этим игнорирование при таком подхо-

де качественных характеристик социальных и психоло-

гических явлений [11, с. 217].

Эмпирическая валидизация имеет свои слабые места.

А.Г. Шмелёв отмечает, характеризуя эмпирическую

валидность, что социально-прогностические внешние

критерии, к которым она привязана прагматической тра-

дицией западной тестологии, являются комплексными:

«Они позволяют измерить валидность-эффективность, но

не каждое из двух свойств теста отдельно. При этом, ког-

да заказчик требует сразу же после диагностики приня-

тия коррекционного вмешательства в ситуацию (отбор,

консультирование, обучение и т.п.), повышение показа-

телей (достоверное по сравнению с контрольной

группой), доказывает одновременно и валидность-

эффективность диагностики, и эффективность самого

вмешательства. А отрицательный результат даёт ещё

большую неопределённость, так как оказывается

невозможным отделить неэффективность вмешательства

от низкой валидности методики» [103, с. 76].

ПРОЦЕДУРЫ ЭМПИРИЧЕСКОЙ ВАЛИДИЗАЦИИ

348

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 349

Среди процедур эмпирической валидизации

отмечаются обычно две основные. Ретроспективная

валидизация проводится, если критерий по времени в

прошлом, и тогда достаточно привлечь к обследованию

только тех испытуемых, которые оказались на

экспериментальных полюсах по этому критерию. Если же

критерий — будущее событие, то проводится

проспективная валидизация, и выборка испытуемых

должна составляться с запасом (с учётом вероятного

объёма экспериментальных полярных групп в будущем).

Это позволяет выявить прогностическую эффективность

диагностической процедуры [103, с. 77].

Ретроспективная и проспективная валидизация

С понятием ретроспективной валидности мы уже

встречались при анализе проблем критериальной валиди-

зации. Как и понятие проспективной валидности (у ряда

авторов встречается в формулировке «перспективная,

прогностическая в контексте ориентированная на пред-

стоящее обследование»), оно определяет не качественно

новый вид валидности, а лишь временной вектор. И в этом

аспекте имеет право на существование.

А.Г. Шмелёв употребляет термины проспективная и

прогностическая валидность как рядоположенные, хотя

По смыслу терминов это не так.

Прогноз не равен проспекту (понимаемому как про-

ект), и поэтому прогностическая валидность —^более

объёмное понятие, чем проспективная, и отражает ярко

выраженный аспект предсказания и предвидения.

Прогностика в наши дни становится в гуманитарных

дисциплинах междисциплинарной отраслью со своей

методологией и технологией, развитыми процедурами.

Педагогическая прогностика в работах Б.С. Гершунского и

некоторых других исследователей уверенно заявила о

своём праве на существование как сервисной

Ч А С Т Ь В Т О Р А Я

педагогической дисциплины со своей развитой

методологией и методикой [104; 143].

А.Г. Шмелёв считает, что высокая прогностическая

валидность доказывает как валидность самого измере-

ния, так и наличие предполагаемой причинной связи. А

ретроспективная валидизация позволяет определить

только валидность самого измерения. Характерным при-

мером является известный в медицине «синдром госпита-

лизации», связанный с повышением у больного депрес-

сивности по мере нахождения в больнице.

В педагогике аналогией могут быть так называемые

дидактогении — психические состояния боязни учителей,

школы, какого-либо предмета, часто встречающиеся у

слабоуспевающих школьников. Чем может быть вызвана

неудача при выполнении теста — незнанием, психическим

состоянием учащегося на момент тестирования или

невалидностью самой методики для данного контингента

учащихся, — это должна помочь определить

ретроспективная валидизация методики [103, с. 77].

Теоретическая и эмпирическая валидизация с пози-

ций науковедения имеют свои особенности.

Считая, что «валидность теста есть функция от ва-

лидности каждого его высказывания», B.C. Аванесов от-

мечает, что «эмпирическая валидность высказываний

может оказаться случайной или слишком опосредован-

ной, как бывают связанными между собой многие случай-

ные явления. Концептуальная же валидность может ока-

заться размытой из-за связи высказывания не только с

интересующей исследователя концепцией, но и с

другими концепциями» [2, с. 152].

Экспертная эмпирическая валидность

Особым видом эмпирической валидности является

экспертная, которая осуществляется, когда нет другого

валидизированного теста, параллельно измеряющего

диагностируемое свойство, а также при отсутствии раз-

работанного теоретического конструкта (с помощью ко-

350