Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 311

В дидактическом тестировании метод контрастных

групп можно использовать для диагностики результатов

обучения таким прикладным вопросам, как пользование

компьютерами или ТСО, ремонт оборудования, лабора-

торные по химико-физическим анализам, — всему, что

связано с трудовым и профессиональным обучением.

Но вряд ли будет целесообразно использовать его

при проверке тестов на знание гуманитарных предметов,

политологии, теории педагогики.

В то же время мы можем и должны включать в ди-

дактические тесты по гуманитарным дисциплинам при

итоговом контроле заложенные в типовой программе

личностные качества (и, соответственно, субтесты изве-

стных личностных опросников). Ведь в средней школе

цели развития в значительной степени интегрированы с

целями предметного обучения через мировоззренческий

аспект последних. Тогда метод контрастных групп при

валидизации теста итогового контроля будет целесооб-

разен.

Особенно если профессиографические характеристи-

ки будут требовать от выпускника развитых умений и на-

выков продуктивной кооперации при работе в группе, ли-

дирования в критических ситуациях, целостности миро-

воззренческой позиции, психической стабильности при

выработке решений.

Метод контрастных групп окажется полезен при со-

здании тестов углублённого диагностического контроля,

когда с их помощью надо будет отбирать особо способных

учащихся в какой-то предметной области (например, для

школ с математическим, биологическим уклоном). Или

решать вопрос с особо неуспевающими — нужно ли вооб-

ще учить их по данной программе, данному предмету или

же их шансы окончить курс обучения в этих конкретных

условиях (при используемой данными педагогами при-

вычной методики) близки к нулю.

Критериальная валидность по диагнозу

Ч А С Т Ь В Т О Р А Я

В практической психодиагностике, особенно при изу-

чении биологией и медициной таких пограничных ка-

честв, как нейротизм, умственная работоспособность,

вспыльчивость, в виде критерия в ряде тестов

используется врачебный диагноз (валидность которого, в

свою очередь, ещё не установлена) или субъективные

оценки (учителя, руководителя). Как отмечает А.

Анастази, учительские оценки применяются при

валидизации почти всех типов тестов [7, с. 136].

В дидактической диагностике мы постоянно сталки-

ваемся с педагогическими диагнозами: «двоечник — от-

личник», «бездарь.— способный», «прилежный — лен-

тЯ

Й».

В какой степени они могут применяться в качестве

критерия для проверки тестов?

В педагогической литературе прошлого и нашего

ремени есть немало случаев, когда педагогические диа-

гнозы явно расходились с реальностью и основанные на

них прогнозы не оправдывались. Это и юный Эйнштейн,

которого как тупицу отправили домой из начальной

школы, и явный неуч Митрофанушка Фонвизина, который

впоследствии стал президентом Академии художеств.

Известны и другие случаи — когда некачественные и

невалидные тесты приводили к конфузам. Вспомним А.С.

Макаренко и его «Педагогическую поэму», где

сверхинициативного юного махинатора, неохотно за-

полнявшего скучный для него тест с волком, козой и ка-

пустой, педолог охарактеризовал как безынициативного.

А у Макаренко он стал одним из лучших лидеров кол-

лектива.

Все же педагогические диагнозы, на наш взгляд,

могут выступать в качестве критериев дидактических

тестов, но для этого они должны быть «замотивирова-ны»

и усилены результатами систематизированных на-

блюдений, формализованного контент-анализа работ

учащихся или коллективной экспертизой теста с помо-

щью технологически отработанных рейтинговых проце-

дур типа «педагогического консилиума» Ю.К. Бабан-

ского. Тем более что и технология педагогического кон-

312

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 313

силиума, и методика несложного статистического (по

Усреднённым данным) подсчёта парциальных оценок

Успеваемости по предметам, и формализованные про-

Раммы анализа контрольных работ различного типа в

Пе

Дагогике наработаны, привычны, близки многим

Отелям.

Критериальная конкурентная валидизация теста.

Конкурентная и предполагаемая валидность

Внедрение дидактических тестов в контроль резуль-

татов обучения давно способствовало на Западе, а сейчас

и в СНГ конкуренции разработчиков. По признанию авто-

ров, многие издающиеся дидактические тесты несовер-

шенны. Нередко на рынок (или конкретному заказчику)

предлагается внешне многообещающая, но реально неиз-

(

вестно какая по качеству продукция.

Каким образом можно проверить и оценить качество

нового теста, если имеются ранее изданные аналогичные?

В психодиагностике такое решение есть. Распростра-

нённым методом критериальной валидизации является

определение корреляции между новым и уже использую-

щимся тестом. При этом А. Анастази считает, что если но-

вый тест не является более простым и более кратким ва-

риантом уже существующего теста, то использование по-

следнего в качестве критерия недопустимо. Это, по сути,

технология определения конкурентной (точнее — предпо-

лагаемой) валидности теста [7, с. 136].

Как справедливо отмечают психодиагносты, на прак-

тике эффективным считается «старый» тест. «Однако

процесс «старения» зависит не от судьбы исходной кон-

цепции теста, а является следствием многостороннего

изучения разнообразных его параметров, включая и удоб-

ство его использования для нужд психологической прак-

тики» [27, с. 6].

В дидактической диагностике ситуация отнюдь не

столь однозначная. Во-первых, из-за неизвестности харак-

теристик валидности и надёжности «старых» тестов. Если

такие данные и есть, то они скрываются авторами или ор-

Ч А С Т Ь В Т О Р А Я

ганизаторами тестирования, добившимися публикации те-

ста вопреки международным правилам и стандартам.

Отсутствие данных стандартизации методики гово-

рит либо о научной некорректности такой публикации,

либо о каких-то не имеющих отношения к науке скрытых

мотивах.

За рубежом, где практика тестирования массова и

публична, такая ситуация просто профессионально недо-

пустима и повлекла бы за собой как минимум бойкот тес-

та педагогами и учебными заведениями.

Возможно, для наших разработчиков тестов это

ошибка «по незнанию», но она негативно влияет на отно-

шение и к авторам теста, и к организаторам их внедре-

ния. И, как всякая ошибка, требует исправления или от-

каза от профессиональных амбиций с последующим изъ-

ятием подобных тестов из массовой практики.

Пока решается «организационный вопрос» с уже

опубликованными (без принятых данных валидности и

надёжности) тестами, разработчикам аналогичных и (или)

конкурирующих тестов необходимо проводить сравнение

своей продукции с имеющейся. Это нужно для объ-

ективного анализа качества старого и нового, поскольку

практически у каждой новой разработки теста могут быть

свои идеи, находки, которые в чём-то (если не целиком)

могут оказаться лучше предшествующих в каком-либо

субтесте по тому или иному разделу, блоку диагностируе-

мых умений. В этом случае необходимо определение кор-

реляции старого и нового теста.

В дидактике по всем предметам наработаны много-

численные варианты контрольных карточек, работ, задач,

занимательных развивающих заданий, которые многие

годы использовались для контроля знаний (в том числе на

уровнях от внутришкольного до республиканского). Это

огромный ценнейший материал. По сути и по форме

многие из них — те же тесты, но не проверявшиеся по ря-

ду параметров и процедур тестологии.

Не стоит забывать и еще недавнюю моду на програм-

мированное обучение и машинный контроль: была нара-

314

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 315

ботана масса диагностических заданий — весьма непло-

хих, собирался и сопоставлялся материал по классам и

школам.

Многие из них вполне можно использовать и для

компьютерного тестирования, и для бланкового — осо-

бенно при текущем и рубежном контроле знаний. Если

же хорошо поработать в архивах НИИ, разобраться в

расчётах диссертаций по педагогике и методике, то мож-

но будет обнаружить и какие-то данные, позволяющие

судить о качестве и эффективности этих контрольных

заданий.

Сравнение новых, создаваемых тестов с ними — пер-

спективное направление валидизации. И одновременно

возможность более объективно оценить реальные (и от-

нюдь неплохие) достижения отечественной дидактики и

методики.

Конкурентная валидность теста применяется не толь-

ко для вновь разработанных, но и при отборе наиболее

эффективных (по диагностическому потенциалу) уже

известных методик. Например, по определённому разделу

учебного материала (скажем, «оптика» в вузовском курсе

физики) существует в разных странах несколько тестов.

Переводные, но неадаптированные к данному континген-

ту студентов тесты имеются на кафедре. Надо либо

создавать на их основе (или с учётом их опыта

разработки) новый тест, либо отобрать один из

нескольких.

В последнем случае нам придётся говорить при срав-

нении тестов об их конкурентной валидности. Предпола-

гаемая валидность (assumed validity) будет её частным

случаем при создании Бухарского варианта теста и его

проверке вместе с переведёнными иностранными методи-

ками. Представим себе, что в этом (последнем) случае мы

получили очень высокий коэффициент корреляции (0,85-

0,90). Хорошо это или плохо?

На первый взгляд просто прекрасно. Удалось создать

такой высококачественный тест, который практически

ничуть не хуже стандартизированных импортных, разра-

Ч А С Т Ь В Т О Р А Я

ботанных профессионалами. Можно сэкономить время на

процедурах проверки надёжности, валидности по многим

другим параметрам.

Однако на деле, как считают тестологи, это далеко

не всегда хорошо. Очень высокий коэффициент

предполагаемой валидности свидетельствует о том, что

данный тест является либо другой формой того, с

которым у него корреляция приближается к единице,

либо дублирует его на очень высоком уровне.

Тогда следует определить, для чего же он нужен,

если уже имеется известный тест с разработанными

нормативами и прошедший стандартизацию. Тем не

менее работа по созданию теста может оказаться вполне

целесообразной и в этом случае.

Нередко диагностическая методика ориентируется на

специфический этнокультурный контингент. Она должна

перепроверять особо значимые разделы знаний, умений,

профессионально важные качества личности (например, у

операторов атомных электростанций, лётчиков, водите-

лей транспортных средств, у всех представителей тех

профессий, где высок процент риска)* Лучше

использовать второй тест с высокой конкурентной

валидностью — цена ошибки отбора будет намного

дороже.

Валидность соответствия результатов разных методик

В педагогической диагностике Германии, как отмеча-

ет К. Ингенкамп, применяется «валидность соответствия»

для сравнительного анализа результатов близких

методик.

Это понятие и стоящие за ним феномены вполне за-

служивают специального рассмотрения. Они являются

особо значимыми для дидактического тестирования и, в

более широком плане, для дидактической диагностики,

что. целесообразно в интересах коррекции понятийного

словаря диагностики, когда отсеиваются дублирующие

термины и устанавливаются соотношения смежных и

316

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 317

близких понятий. Правомерно ли употреблять термин

«валидность соответствия» как тождественный «конку-

рентной валидности» и другим связанным с нею терми-

нам?

Валидность соответствия (результатов, полученных с

помощью различного инструментария) позволяет, по К.

Ингенкампу, установить, в какой мере результаты, по-

лученные с помощью диагностического инструментария и

другими способами, соответствуют (например, данные

математического теста — оценкам учителей).

Но поскольку новые методики потому и разрабатыва-

ются, что по диагностическим задачам прежние

оказались неадекватными, такой подход к определению

валидности К. Ингенкамп считает неудовлетворительным

[53, с. 41].

Аналогичен ли термин «валидность соответствия»

терминам «предполагаемая» и «конвергентная» валид-

ность?

На наш взгляд, валидность соответствия может рас-

сматриваться если не полностью, то хотя бы частично как

проявление конвергентной валидности и предполагаемой

валидности.

Это можно объяснить тем, что любой вновь создавае-

мый инструментарий (например, дидактический тест

контроля знаний) является лишь одним из множества су-

ществующих, в том числе и проверенных методов диагно-

стирования (хотя бы и традиционных, в чём-то несовер-

шенных). Поскольку в основе дидактического тестирова-

ния лежит определённая сфера знаний, а тест ориентиро-

ван на выявление части или целого этой сферы, он дол-

жен коррелировать с другими методами, применяемыми

для её диагностики. Особенно — при технологически пра-

вильном построении теста и его высокой содержательной

валидности.

Низкая валидность соответствия с другими методами

будет в таком случае скорее всего свидетельствовать в

пользу нового теста — он лучше измеряет. Высокая же ва-

лидность соответствия покажет нам, что он измеряет поч-

Ч А С Т Ь В Т О Р А Я

ти так же, как и ранее созданный инструментарий. Но в

такой ситуации может потребоваться сопоставление суб-

тестов, которые могут иметь разные показатели валидно-

сти соответствия и разную предполагаемую валидность с

другими тестами.

Подобное положение, вероятно, будет наблюдаться

при рубежном и итоговом контроле знаний по достаточно

объёмному предмету, включающему в себя ряд относи-

тельно автономных разделов.

Например, по курсу физики, в котором знания нью-

тоновской механики вряд ли будут даже у отличников

очень высоко коррелировать со знаниями по оптике. Или

по тесту проверки естествознания за курс средней школы,

где субтесты по анатомии и физиологии человека будут

отражать материал, имеющий слабые межпредметные

связи с ботаникой или разделом о червях. Можно, на наш

взгляд, сказать, что предполагаемая валидность и валид-

ность соответствия при проверке нового теста — две сто-

роны одной медали.

Предполагаемая валидность характеризует качество

инструментария, а валидность соответствия — качество

получаемого с его помощью результата.

Результат же может определяться не только инстру-

ментарием, но и другими факторами (как внешними по

отношению к методике обучения, так и внутренними), ха-

рактеризующими всю диагностическую ситуацию и её

участников. Хотя бы, например, тем, что ботаника и ана-

томия в этой школе преподавались разными учителями,

имеющими разную квалификацию, да ещё и по разным

методикам.

Локальная критериальная валидизация теста

Когда наиболее целесообразна валидизация по крите-

рию?

А. Анастази считает, что «валидность по критерию

наиболее уместна при изучении локальной валидизации,

при которой оценивается эффективность теста для кон-

318

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 319

кретной программы тестирования (например, когда какая-

либо фирма намерена оценить тест для отбора посту-

пающих к ним на работу). При этом критерии оценки ре-

зультатов тестирования руководителями фирмы (или

альтернативного учебного заведения) могут быть специ-

фическими, нестандартными [7, с. 136].

В педагогике аналогичная ситуация встречается

очень часто, так как монопредметные дидактические тес-

ты создаются почти в каждом учебном заведении для соб-

ственных, внутренних нужд. Их никто не стандартизирует

и не валидизирует — по крайней мере, в России, потому

что не умеют этого делать и не видят в этом необходи-

мости. А она объективно есть, так как лучше работать с

диагностическим инструментарием, ценность которого

известна, и иметь возможность сопоставлять результаты

обучения не только на стадии итогового контроля, когда

уже почти ничего нельзя исправить и не остаётся

времени доучивать, но и при текущем тематическом

контроле по стабильным темам (хотя бы — по ключевым).

Американцы накопили и систематизировали темати-

ческие тесты по многим вопросам. У нас это тоже вполне

возможно — даже на уровне крупного города и региона,

где имеются педвузы с грамотными специалистами и ав-

торитетные методические объединения учителей.

Локальная валидизация может быть первым шагом к

постепенному объективному отбору лучших тестов по

предметам, лучших субтестов и тестовых заданий. Это

особенно важно в условиях становления банка тестовых

данных для разработчиков региональных дидактических

тестов и для переработки методистами-дидактами типо-

вых программ обучения.

В условиях же возникновения альтернативных форм

образования, инновационной переработки программ обу-

чения, создания федеральных и региональных образова-

тельных стандартов и новых, но не всегда лучших

педагогических технологий локальная валидизация

тестов объективно необходима. Тестирование учащихся,

изучающих физику или математику по

экспериментальной авторской программе, целесообразно

Ч А С Т Ь В Т О Р А Я

лишь при итоговом контроле знаний для самоаттестации

или аттестации образовательного учреждения.

Но так как аттестация учебных заведений и эксперт-

ное оценивание результативности их программ идёт по-

стоянно, иной выход, кроме накопления данных локаль-

ной валидизации, пока что реально трудно найти.

Подчёркивая значимость такого подхода, А. Анастази

предлагает валидность по критерию называть практи-

ческой валидностью теста при локальном применении.

Определение валидности такого типа является приклад-

ным исследованием, и его результаты в меньшей степени

подлежат обобщению, нежели результаты других проце-

дур. Она зависит от конкретных условий того или иного

учебного заведения, производства, так как реальные

функции подготавливаемого в колледже специалиста в

разных учреждениях могут не совпадать [7, с. 136].

Локальная валидизация чрезвычайно важна для про-

фессиональной педагогики. Но здесь есть несколько ню-

ансов. А. Анастази считает, что для полной локальной ва-

лидизации тестов (например, в промышленности) при

идеальных условиях нужно было принимать на службу

тех, кому в ней отказано, и за время их работы получить

адекватные и стабильные критериальные данные.

Понимая, что такая технология валидизации эконо-

мически неприемлема для предпринимателей, он отмеча-

ет три главные причины, по которым проводившиеся в

Америке прикладные исследования по валидизации тес-

тов отбора приводили к неинтерпретируемым результа-

там:

1) отсутствие достаточно надёжных и исчерпывающих

критериальных данных;

2) незначительное количество лиц, имеющих одина-

ковые или близкие функции;

3) ограниченность предварительного отбора, посколь-

ку не все поступающие принимаются на работу.

Если же используются для локальной валидизации

выборки из контингента людей, уже работающих по той

специальности, на которую проводится тестовый отбор,

320