Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 231

С начала 30-х годов на Западе выделяли три подхода

к валидизации тестов:

1.Прогностический — первоначально допускались к

работе все нанятые после тестирования, а потом

устанавливалось, какие тесты позволяют

прогнозировать успешность по корреляции с внешними

критериями производительности. Это требовало

времени на некоторый период профадаптации

испытуемых.

2.Другой подход в англоязычной литературе Назы-

вался concurrent validity (конкурентная валидность). На

первом этапе тестировались уже работающие,

результаты корре л провались с трудовыми

достижениями: отбирались наиболее коррелирующие

тесты и затем на их основе принимались на работу

кандидаты, получавшие высокие баллы.

3.Третий метод — тестирование в группах с высоки-

ми и низкими результатами (по экспертным оценкам пе-

дагогов) — позволял отбирать тестовые задания, давав-

шие существенные различия, получил название «метод

известных групп». Его слабые места — большая зависи-

мость результатов от качества отбора респондентов в

контрольные группы.

Подобные инструментальные подходы основаны на

исходной уверенности создателя теста в

работоспособности высказываний, эффективных, по его

мнению, независимо от теоретического их обоснования,

доминировали до 50-х годов [2, с. 139-143].

Эмпиризм привёл к тому, что многие авторы, работа-

ющие в области психодиагностики, отмечают кризис-

ность ситуации: «Методическое обеспечение психодиаг-

ностических исследований продолжает существенно опе-

режать их теоретический уровень. Затянулся «эмпириче-

ский» этап в развитии психодиагностики, которому при-

сущ дилетантски-потребительский подход к методикам,

оставляющий вне поля зрения теоретические основания

их построения.

Ч А С Т Ь В Т О Р А Я

Нередко психологи, проводящие психодиагностичес-

кое обследование, смутно представляют себе, как

теоретически описывается, например, «интеллект»,

который они измеряют. Практики склонны оперировать

«референтным значением» понятий, обращаются к

собственным представлениям о конкретных объектах и

событиях реальной жизни, в то время как существует и

«собственное значение», тождественное заключённой в

понятии мысли» [27, с. 5].

Более осознанное и развёрнутое, чем в педагогике,

представление социологов и психодиагностов о

валидности методик (и особенно тестов) не случайно.

Исторически оно обусловлено более консервативным (во

всех смыслах — этическом и функциональном)

характером практической педагогики и в отставании ее

экспериментальной базы.

Развитие дидактического тестирования в 50-70-х го-

дах было обусловлено не потребностями социальной

системы в качественном и объективном контроле

результатов образования, а бумом программированного

обучения.

Лишь на рубеже 80-90-х годов дидактическое тестирова-

ние было возрождено — тесты стали использоваться в

системе многоэтапного контроля знаний.

Актуален стал вопрос о валидности дидактического

тестирования. В условиях перехода к рыночной экономи-

ке заказчик платит за обученного специалиста и требует

качественных знаний и умений. Он считает, что имеет

право знать, за что платит, и педагогика становится всё

более заинтересованной во внутреннем контроле резуль-

татов своей работы, в объективной диагностике, дающей

возможность оперативной корректировки промежуточ-

ных результатов обучения и воспитания.

Требования к качеству дидактических тестов нарас-

тают постоянно. Заодно — и ко всякому имеющемуся или

создающемуся диагностическому инструментарию. В пе-

232

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 233

дагогике грань между необходимой научной

достоверностью и многогранностью человеческих

отношений, не поддающихся формализации, тонка и

неоднозначна. Хотя процесс получения педагогического

знания подчиняется общим закономерностям научного

познания, а внедрение в этот процесс точных, строгих

методов исследования необходимо, характер и

результаты педагогического исследования в основном

определяются влиянием установок ценностного

практического сознания, как это всегда было в

социально-гуманитарных науках [63, с. 27].

Характеризуя необходимость содержательной вали-

дизации теста, польский дидакт В. Оконь пишет: «Тест

для данного предмета обучения не будет удачным, если

с его помощью определяется только уровень знаний и не

затрагиваются другие критерии, если чрезмерно

выделяется только один раздел программы за счёт

других разделов, если определяется интеллектуальное

развитие или память, т.е. познавательный процесс, а не

знание данного предмета» [106, с. 366].

В. Оконь несколько сгущает краски. Любые знания

так или иначе опираются на познавательные процессы,

и любой дидактический тест параллельно в какой-то

степени проверяет память, внимание (например, при

чтении или слуховом восприятии инструкции) и другие

интеллектуальные характеристики. Это всегда «задний

план» дидактического теста, но важно, чтобы он не

затмевал собой главную дидактическую цель

тестирования.

За исключением общих замечаний В. Оконя, в педа-

гогической литературе трудно найти конкретные

методологические и технологические, процессуальные

подходы к вопросам валидизации тестов. Исключением,

пожалуй, является переводная книга К. Ингенкампа, в

которой подчёркивается, что «ни один элемент

измерительного инструментария не является валидным

Ч А С Т Ь В Т О Р А Я

вообще, он может быть валидным лишь в определённом

смысле» [53, с. 43].

Отметим, что и на Западе тесты, стандартизирован-

ные для практического использования и прошедшие ва-

лидизацию, часто критикуют за то, что их валидность не-

достаточно высокая.

Эксперименты по изучению валидности редки, но

они всё же проводятся, особенно по популярным у

педагогов тестам.

ТИПОЛОГИИ ВИДОВ ВАЛИДНОСТИ

Проблема систематизации видов валидности как чис-

то методологическая долгие годы не слишком волновала

психологов и педагогов Запада, поглощённых «ползучим

эмпиризмом» и решением сугубо прикладных проблем.

Нет единого мнения в определении видов валидности и в

основаниях типологизации этих видов. Остановимся на

этом более подробно.

А. Анастази, ссылаясь на «Стандарты учебных и пси-

хологических тестов», выделяет три подхода к

определению валидности: 1) валидность по содержанию;

2) валидность по критерию; 3) конструктная валидность.

Как дополнительный и проблемный вид валидности

также рассматривается «очевидная». Отмечая

существование различных видов валидности, Г. Витцлак

характеризует такие из них, как содержательная,

конструктивная, прогностическая и педагогическая [119,

с. 133-142].

В.В. Петухов в «Словаре экспериментатора» (прило-

жение к книге Р. Готтсданкера «Основы психологическо-

го эксперимента») в блоке терминов, связанных с валид-

ностью, выделяет такие её виды, как внутренняя и внеш-

няя валидность, а также операциональная валидность

[41, с. 430]. Сам Р. Готтсданкер, естественно, придержи-

вается этой же классификации.

234

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 235

Ю.З. Гильбух, один из ведущих авторов работ по пе-

дагогической психодиагностике, в программной статье

«Проблема валидности эксперимента в психологии», рас-

сматривая вопрос о типах валидности, использует

наряду с термином «содержательная валидность»

понятие «валидность экологическая (практическая)»,

которая характеризует методики с точки зрения

практической применимости даваемого ею знания [37, с.

119]. Попытки наши найти тех, кто использует термин

«экологическая валидность», успехом не увенчались

(хотя термин «практическая валидность» изредка

употребляется в литературе).

Другой случай применения малоупотребительного

термина описывает известный психодиагност, один из

авторов классической в России «Общей

психодиагностики» В.В. Столин. Он использует термин

«имманентная валидность», о которой пишет, что она

«устанавливается анализом соответствия методики

признакам психического свойства, подлежащим

диагностике», то есть адекватна широко

употребляемому всеми понятию «содержательная» или

«психологическая валидность» [142, с. 114]. Хотя

психологами последние два термина отождествляются,

это не одно и то же, особенно — в педагогической

диагностике.

Третий пример —под используемым В.В. Столиным

термином «оценочная валидность» им подразумевается

то, что другие авторы «называют экспертной валиднос-

тью» [142, с. 115].

В педагогической диагностике термины

валидизации в нашей стране практически не

применяются — за исключением переводной книги К.

Ингенкампа. Он пишет, что «в зависимости от вида

критерия в методике тестирования различают 4 вида

валидности: валидность содержания, валидность

соответствия результатов, полученных с помощью

различного инструментария, валидность прогноза и

Ч А С Т Ь В Т О Р А Я

валидность конструкта» [53, с. 40]. В «Рабочей книге

социолога» авторы заменяют термин «валидность» его

русским эквивалентом «обоснованность» (измерения,

методики). При этом выделяются три группы подходов к

выяснению уровня обоснованности методики:

1) конструирование типологии в соответствии с

целями исследования на базе нескольких признаков;

2) использование параллельных данных;

3) судейские процедуры [123, с. 247].

Социологи мало утруждают себя такими чисто мето-

дологическими вопросами. Это отчасти понятно, так как

спектр социологических опросных методик (анкет разно-

го типа, программированных интервью, экспертных лис-

тов) более однороден, чем спектр психологических и ди-

дактических тестов — от бланочных до тренажёрных со

сложнейшей компьютерной техникой. Именно поэтому

проблема типологизации видов валидности для

педагогов более актуальна, чем для других

гуманитариев (кроме практических психологов).

В работе, посвященной методам измерения в педаго-

гике, её автор В.И. Михеев не даёт какой-либо

дифференциации понятия «валидность» по видам,

предлагая определять её коэффициентом корреляции

между обобщёнными показателями успешности

обучения V

, — .... V

, полученных по результатам

выполненных обучаемыми заданий педагогического

теста, и успешностью учебной деятельности тех же

обучаемых нормативной группы, оцениваемой уже с

помощью опроса опытных педагогов-экспертов [95, с.

145].

Классик психологического эксперимента Д. Кэмп-

белл отмечает внутреннюю и внешнюю валидность, но

употребляет и термин «конструктная валидность» [115].

Не вдаваясь в анализ терминологии, он на доступных

примерах демонстрирует технологию валидизации, по-

казывая типичные ошибки и проблемы, с которыми

236

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 237

сталкиваются при валидизации исследователь и разра-

ботчик.

А.Г. Шмелёв различает содержательную и эмпириче-

скую валидность тестов, а также употребляет термины

«конструктная валидность», «предполагаемая валид-

ность» (как вариант конструктной), «конвергентная» и

«дискриминантная» валидность и «валидность-эффек-

тивность» [103, с. 75-79].

Спектр терминов, характеризующих валидность, как

видим, достаточно широк и разнообразен, что, однако,

не проясняет проблему, а лишь запутывает её.

Попытаемся систематизировать эти типологии.

Методологической слабостью публикаций по пробле-

мам валидности диагностических методик является, на

наш взгляд, отсутствие попыток представить виды

валидности в какой-либо целостной иерархической

системе, показывающей их соподчинённость и степень

взаимосвязи, взаимного проникновения. Такая

взаимосвязь, на наш взгляд, проявляется в

использовании общих процедур математико-

статистического анализа и обработки материала, в

близости (интегрированности до определённой степени)

ряда понятий валидности.

Многие термины, используемые как тождественные,

имеют свою специфику и сферу применения и их необхо-

димо развести. Учитывая отмечающиеся многими учёны-

ми некорректность использования терминологий в педа-

гогике й психологии, следует иметь в виду, что смысл оп-

ределённых терминов, которые употребляются несколь-

кими авторами, бывает далеко не однозначен. Требуется

конкретный анализ содержания терминов и

подразумеваемых процедур.

При описании технологии определения валидности

— валидизации — исследователи проблемы используют

различную терминологию в качестве определений,

характеризующих сущность и содержание процедур,

нередко — одних и тех же по сути. В процессе исследо-

Ч А С Т Ь В Т О Р А Я

вания проблемы типологизации видов валидности нами

вырабатывалась собственная концепция их иерархичес-

кого соотношения. Она представлена и обоснована

ниже.

То обстоятельство, что для определения подходов к

процессу валидизации теста (методики) и валидности

(как результата этого процесса) в настоящее время ис-

пользуется, по нашим подсчётам, около 40 только основ-

ных терминов, могло бы лишь запутать читателя, если бы

схема была представлена без предварительного

ознакомления с терминологией. Однако с самого начала

следует разделить две группы понятий, относящиеся к

содержательной и критериальной валидизации.

6.2. СОДЕРЖАТЕЛЬНАЯ ВАЛИДНОСТЬ

Содержательная валидность — один из наиболее

распространённых терминов стандартизации тестов. По

мнению А. Анастази, «валидность по содержанию, в

сущности, означает систематическую проверку

содержания теста, с тем чтобы установить,

соответствует ли оно репрезентативной выборке

измеряемой области поведения. Такая процедура

валидизации обычно применяется при оценке тестов

достижений» [7, с. 126].

Если учесть, что в англо-американской терминологии

практически все дидактические предметные тесты отно-

сятся к тестам достижений, то можно считать, что без

содержательной валидизации любой предметный тест

является лишь игрушкой для его автора. Ни один

серьёзный исследователь не отрицает необходимости

содержательной валидизации тестов достижений ни на

Западе, ни в России.

А.Г. Шмелёв вслед за А. Анастази отмечает, что «со-

держательная валидность теста автоматически требует

представленности в нём моделей всех разнообразных

238

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 239

феноменов», из которых складывается измеряемая

область поведения [103, с. 75].

По Г. Витцлаку при проверке содержательной

валидности речь идёт об определении степени

соответствия содержания тестовых заданий

содержанию учебного предмета, успешность усвоения

которого тестируется, то есть о репрезентативности

предложенного для тестирования комплекса учебных

задач содержанию учебной программы [119, с. 133].

B.C. Аванесов содержательную валидность как тер-

мин не определяет, но отмечает, что «ее основу

составляет репрезентативность высказываний теста по

отношению к концептуальной факторной структуре

признака (понятий)» [2, с.143].

Обобщая эти позиции, отметим, что авторы видят

сущность содержательной валидизации в проверке близ-

ких, но неоднозначных феноменов измерения —

содержательной основы теста или иной диагностической

методики. Они рекомендуют содержание теста при

определении содержательной валидности проверять на

соответствие, на широту трактовки того, что именно

должно проверяться (сопоставляться) и измеряться

данным тестом.

У А. Анастази это — «репрезентативная выборка из-

меряемой области поведения» (где термин «выборка»

употребляется не в смысле статистической процедуры, а

в контексте теоретической или эмпирической модели

поведения). Это предельно широкая трактовка,

позволяющая ставить вопрос о проверке на

содержательную валидность любых диагностических

методик, а не только тестов. А.Г. Шмелёв примерно так

же расшифровывает термин, понимая под ним

отражение в тесте как диагностической методике

модели всех разнообразных феноменов, из которых

складывается измеряемая область поведения.

В принципе эта позиция качественно не отличается

от позиции А. Анастази (на которую он ссылается), одна-

Ч А С Т Ь В Т О Р А Я

ко он акцентирует внимание на аспекте разнообразия из-

меряемого и его сложном составе. А также на необходи-

мости применения методов теоретического моделирова-

ния для содержательной валидизации методики.

Более близки к конкретной проблематике

дидактического тестирования позиции Г. Витцлака, К.

Ингенкампа и B.C. Аванесова, но эти авторы дают и

более узкие трактовки содержательной валидности. Речь

в них идёт уже* не о всём тесте, а только о его главной,

сущностной части — «тестовых заданиях» (Г. Витцлак) и

«высказываниях теста» (B.C. Аванесов). Причём под

последними имеются в виду фразы, предложения,

оценки, вопросы, пункты различных шкал социальных

установок, встречающиеся в социально-психологических

тестах или «закрытых» тестовых заданиях с

множественным выбором (элективных).

Моделью у Г. Витцлака является «содержание учеб-

ной программы», у К. Ингенкампа — учебный план, а у

B.Q. Аванесова — «концептуальная факторная структура

признака (понятия)». Единственный из перечисленных

авторов, специалист по педагогической диагностике, К.

Ингенкамп считает, что валидность содержания явля-

ется достаточно проблематичным критерием [53, с. 40].

Причина — существенные расхождения в учебных планах

и программах разных стран даже для одного уровня

образования и одной возрастной группы учащихся.

Международное сообщество и ЮНЕСКО стремятся

преодолеть этот разрыв через сближение

образовательных стандартов.

В.Г. Разумовский [125] приводит важнейшие темы,

входящие в международный стандарт общего образова-

ния для 13-летних детей (указана процентная

значимость каждой темы, выраженная в часах,

отведённых на ее изучение):

МАТЕМАТИКА

числа и действия над ними — 36%

измерения — 17%

240