Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

АПРОБАЦИЯ Й СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ

значимость которого определяется с помощью критерия

%-квадрат

Как отмечает А.Г. Шмелёв, если вычисленное значе-

ние кси-квадрата выше табличного с одной степенью

свободы, то нулевая гипотеза (гипотеза о нулевой

устойчивости) отвергается. По его мнению, «удобство в

использовании фи-коэффйциента состоит в том, что он

одновременно оценивает степень оптимальности

данного пункта по силе (трудности): фи-коэффициент

оказывается тем меньше, чем сильнее частота ответов

«да» отличается от ответов «нет». Одновременно

пользование таблицей позволяет выявить;

несимметричность в устойчивости ответов «да» или

«нет», что в дидактических тестах свидетельствует о

сбережении опыта, накопленного обследуемым при

первом тестировании. Задания следует считать

устойчивыми, если на репрезентативной выборке вели-

чина превышает 0,71» [103, с. 72].

5.7. ЗНАЧЕНИЯ КОЭФФИЦИЕНТОВ НАДЁЖНОСТИ

Вопрос о том, каково должно быть минимальное зна-

чение коэффициентов надёжности, в психологической

тестологии до сих пор окончательно не решён и

практически не обсуждался в дидактической.

По тестам, разрабатываемым в СНГ, в литературе ли-

бо не приводятся коэффициенты надёжности (за исклю-

чением отдельных исследований по психодиагностике),

либо если и приводятся, то не анализируются. Эта ситуа-

ция — отражение сложившейся культуры исследования в

АПРОБАЦИЯ Й СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ

советской педагогике, где на инструментарий не обра-

щалось внимание.

Значение коэффициентов надёжности

американского теста ABLE (»Проверка уровня

грамотности взрослых»), определённых методом

расщепления и по формуле Кыоде-ра—Ричардсона,

колеблется от 0,80 до 0,96. Надёжность субтестов

Станфордского диагностического теста от 0,80 до 0,92, а

его же субтеста на скорость чтения — 0,72. В тесте

способности к иностранным языкам (для учащихся в

старших классах, первокурсников колледжей армейских

и гражданских служащих) коэффициенты надёжности,

полученные методом расщепления, превышают 0,90.

Аналогичным образом полученные коэффициенты для

теста языковых способностей Пимслера (для учащихся 6-

12-х классов) близки к 0,80. В тесте распределения

персонала Веспана (США), основанном на заданиях

интеллектуальной проверки, коэффициенты

надёжности, определённые методом параллельных

форм, близки также к 0,80. В тесте отбора

промышленного персонала РТ-1 они колеблются (метод

взаимозаменяемых форм) от 0,70 до 0,92.

В субтесте устных указаний этого же теста — от

0,82 до 0,94. В тесте Беннета на понимание техники

коэффициент надёжности, полученный вследствие

разделения на чётные и нечётные задачи заданий для

разных групп, — от 0,81 до 0,93. Норма канцелярского

теста штата Миннесота, полученная ретестом с

интервалом в несколько месяцев, — 0,70 до 0,80. С

уверенностью можно только утверждать, что чем

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 223

выше коэффициент надёжности, тем больше шансов у

методики пройти успешно процедуры валидизации (хотя

никаких гарантий здесь нет). Но ниже 0,70 он вряд ли

должен опускаться. В Германии при стандартизации

Гейдельберг-ского теста речевого развития детей

анализ разработчиками X. Гриммом и X. Шелером

оригинала теста показал надёжность для всей, тестовой

батареи 0,98.

Отечественные данные о надёжности

дидактических тестов отсутствуют потому, что пока нет

таких стандартизированных тестов (или они есть, но

результаты по непонятным нам причинам не описаны

разработчиками).

6. Валидизация дидактических тестов

6.1. ПОНЯТИЕ «ВАЛИДНОСТЬ» В ПСИХОЛОГИЧЕСКОЙ

И ПЕДАГОГИЧЕСКОЙ ДИАГНОСТИКЕ

В современной литературе по педагогике термин ва-

лидностъ почти не встречается, и лишь редкими автора-

ми, тяготеющими к проблематике педагогической и пси-

хологической диагностики, он употребляется для харак-

теристики исследовательских достоинств методик. Его

применение связано с различного типа социологически-

ми, псйходиагностическими, дидактическими тестами,

причём; используется: широкий спектр определений, ха-

рактеризующих те или иные особенности валидности.

В словаре «Психология» даётся следующее

определение: «валидность (от англ. valid — пригодный)

— один из основных критериев качества теста. Проблема

валидности возникает в процессе разработок и

практического применения теста, когда ставится задача

установить соответствие между степенью выраженности

интересующего свойства личности и методом его

измерения. Чем валиднее тест, тем лучше отображается

в нём то качество (свойство), ради измерения которого

он создавался» [120, с. 47].

Немецкий психодиагност Г. Витцлак определяет ва-

лидность метода как соответствие того, что измеряет

Ч А С Т Ь В Т О Р А Я

психодиагностический метод, тому, что он призван изме-

рять. Определением валидности устанавливается

область действительности, для которой метод даёт

репрезентативные данные [119, с. 132].

Хотя термин валидность известен уже давно, в СССР

в психологических, социологических й тем более педаго-

гических исследованиях он употребляется редко.

В фундаментальной «Общей психодиагностике» А.Г.

Шмелёв отмечает, что в современной прикладной

психологии довольно часто возникает такая ситуация,

когда исследователь вначале предлагает определённую

процедуру измерения, показывает её надёжность —

спо-

224

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 225

собность устойчиво различать объекты, но вопрос о ва-

лидности остаётся открытым [103, с. 75].

На наш взгляд, сейчас ситуация с валидностью педа-

гогических исследований ещё сложнее. Теоретиками пе-

дагогики валидность практически не замечается. Так, в

книге «Методы педагогических исследований» (под ред.

В.И. Журавлева. М.: Просвещение, 1972) это понятие да-

же не упоминается.

Хотя термин «валидность» со всеми его прилагатель-

ными и модификациями является по своему характеру

общенаучным, он слабо отражён в фундаментальных

«общекультурных» словарях. В 14-м издании «Словаря

иностранных слов» термина «валидность» нет [137], так

же как и в «Философском энциклопедическом словаре»

[157]. В большом «Англо-русском учебном словаре» М.

Уилсона (М.: Русский язык, 1982) термин valid

переводится как «действительный», validate трактуется

как «обосновывать», validity — «обоснованность» (с. 679).

Последнее расходится с переводом valid как

«пригодный» в словаре «Психология», хотя имеет

близкий смысловой контекст.

Так что педагогу, заинтересовавшемуся валиднос-

тью, трудновато будет разобраться самому в том, что же

это такое.

Ситуация в прикладной социологии несколько иная,

но вряд ли намного лучше, чем в прикладной психодиаг-

ностике. В начале 80-х годов социолог B.C. Аванесов пи-

сал, что «валидность тестов — термин, сравнительно ма-

лоизвестный в отечественной литературе», и под

валидностью «понимается способность теста измерять

то, что он должен измерять по замыслу». По его мнению,

понятие «валидность» относится не столько к самому

тесту, сколь-ко к цели, ситуации и процедуре его

применения. Как отмечает B.C. Аванесов, в

социологической литературе термин «валидность»

встречается не так часто, хотя идеи валидности и

Ч А С Т Ь В Т О Р А Я

метода валидизации иных, чем тесты, социологических

методов обсуждаются довольно оживлённо. Вместо

валидности авторы часто используют термины: «

обоснованность », « достоверность », « информативность

», « действенность », « адекватность », «

согласованность » и прочие [2, с. 136]. B.C. Аванесов

справедливо считает проблематичными попытки замены

термина «валидность» другими [2, с. 137]. , Такие

попытки предпринимались в течение всего последнего

периода возрождения в СССР прикладной социологии.

В 60-70-х годах постоянно раздавались требования

«осторожного», «критичного» применения терминологии

«буржуазной науки». С присущей социологам осто-

рожностью даже в середине 70-х годов в «Рабочей книге

социолога» проблемы валидизации методик

рассматриваются в контексте надёжности измерения и

определяются термином «обоснованность». Авторы

книги отмечали, что «проверка обоснованности —

достаточно сложный процесс и, как правило, не до конца

разрешимый». «Обоснованность данных измерений — это

доказательство соответствия между тем, что измерено, и

тем, что должно быть измерено» [123, с. 247].

Социологическая терминология, используемая для

выяснения уровня обоснованности, связана не столько с

оценкой методик как средства сбора информации, сколь-

ко с оценкой качества получаемых с их помощью данных.

Конкурентной валидности социологи дают обозначения:

«использование параллельных данных», конструктная

валидность называется «конструирование типологии в

соответствии с целями исследования на базе нескольких

признаков». При «конструировании типологий» социо-

логи считают, что единственное требование — это поло-

жительная корреляция между составляющими её при-

знаками [123, с. 248].

Это явно обедняет сам подход и возможности

качественного оценивания исследовательского

инструмента. В принципе, на наш взгляд, идея

226

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 227

адекватности, достоверности метода (любого — как

теоретического, так и практического) глубоко

философична по своей сути.

Философ В.А. Лекторский отмечает, что ученый-ис-

следователь как субъект познания «способен осознать

себя лишь в качестве объекта, то есть, с другой стороны,

рассматривая себя как природное физическое тело,

включённое в общую объективную взаимосвязь и

взаимодействие с другими физическими телами, а с

другой стороны, исследуя результаты своей

опредмеченной деятельности, то есть мир социально

значимых предметов (приборы, орудия, знаки языка и

т.д.).

Таким образом, необходимым условием объективнос-

ти знания становится, в частности, осознание роли изме-

рительных операций, используемых субъектом приборов,

его систем отсчёта, способов кодирования знания в той

или иной системе знаков (и отличение кода от содержа-

ния знания) и т.д.» [73, с. 48].

Какова реальная роль валидности в педагогических

измерениях и педагогической диагностике? Насколько

она необходима?

Далеко не все современные крупные учёные, занима-

ющиеся проблемами тестирования, утвердительно отве-

чают на непростой вопрос: возможна ли в принципе пол-

ная валидизация теста либо другой диагностической, ис-

следовательской методики?

Российский психолог К.М. Гуревич, отмечая, что за

рубежом придают большое значение валидности

тестовых методик, высказывает весьма скептическое

мнение, что «установление валидности этих методик

встречается с непреодолимыми трудностями» [44, с.

108]. Подтверждая свою позицию, К.М. Гуревич приводит

ехидную цитату психолога С. Уоллеса о валидизации

методик: «Мы пытаемся как-нибудь убедить наших

клиентов и одновременно самих себя, что применяемая

нами методика отбора даёт по меньшей мере

Ч А С Т Ь В Т О Р А Я

нейтральный эффект. Поэтому мы позволяем

производить другим и сами проводим отбор по тестам и

другие процедуры, вследствие которых часть об-

следуемых признаётся негодными для работы, хотя нет

доказательств, что эти люди чем-либо отличаются от

тех, кто работает и имеет перспективы успеха в своей

профессии» [44, с. 111].

8-2976

ИСТОРИЯ СТАНОВЛЕНИЯ ПОНЯТИЯ «ВАЛИДНОСТЬ» В

СОЦИАЛЬНЫХ И ПСИХОЛОГО-ПЕДАГОГИЧЕСКИХ НАУКАХ

Исследователи уделяют недостаточное внимание

ста> новлению и эволюции даже ключевых (в той или

иной отрасли) понятий, а также истории

интернациональной общенаучной лексики (а термин

«валидность» относится именно к ней).

В работе «Тесты в социологическом исследовании»

B.C. Аванесов выделяет два основных эмпирических

подхода:

1. Прогностический, логика которого сводилась к

представлению о том, что если хорошо работающие (по

критерию У), показывают высокие результаты по тесту X,

значит, существует связь, быть может и причинная.

Отдавая при приёме на работу предпочтение тем, у кого

выше результаты по X, предполагается их будущая

более высокая производительность труда.

1.Экспертный подход — если эксперты согласованно

считают одних более способными, чем других, — значит,

это так й есть. И если результаты теста указывают на

сходную тенденцию, коррелируют с данными экспертов

— тест валидный [103, с. 33].

Оба эти подхода в настоящее время сосуществуют,

только применяются они при разных видах валидизации

тестов.

228

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 229

Прогностический подход применяется чаще всего

при эмпирической валидизации, при определении фак-

торной* локальной и прогностической валидности в це-

лом. А также при определении критериальной

синтетической валидности.

Экспертный подход в основном используется при

анализе содержательной (в том числе куррикулярной)

валидности, при психологической валидизации теста

(вероятно, его можно применять и при педагогической

валидизации теста и других диагностических

педагогических методиках).

Практически неисследованной проблемой является

определение возможностей каждого из этих подходов

при валидизации различного типа тестов. В качестве

гипотезы можно предположить, что в одних случаях

(каких именно — предстоит доказать) построения теста

один из этих подходов окажется более трудоёмким. Но

при этом и более эффективным, в то время как более

экономичный даст более неточные, неполные сведения.

Здесь необходимы специальные методологические

эксперименты.

Особый интерес представляет редкая для методоло-

гии гуманитарных наук попытка B.C. Аванесова опреде-

лить источники идеи валидности, к числу которых он от-

носит:

1) интуитивные представления древних пифагорей-

цев о полезности и необходимости некоторых испытаний

для отбора в свои школы, чем предполагалась связь

показателей отбора с будущими успехами;

2) мысль о необходимости практической проверки

предположений о полезности, пригодности показателей

(разделение их на практически обоснованные и

бесполезные);

3) развитие философии и формулировка ещё в

античности классической концепции истины как

соответствия мысли действительности. Поскольку

каждое философское течение давало своё понимание

Ч А С Т Ь В Т О Р А Я

истинности, в прагматизме сформировался подход,

согласно которому тесты полезны, если позволяют

добиваться намеченной цели и, следовательно, валидны;

4) сами тесты как инструмент измерения, на основе

чего проверяется соответствие теста предмету

измерения, т.е. валидизация;

5) развитие статистической науки вообще и

корреляционных методов в частности, использование

корреляций тестов с внешними критериями и другими

факторами [2, с. 137-139].

Анализ современной практики тестирования — как

психологического, так и педагогического, показывает,

что в профессиональном сознании многих современных

разработчиков тестов и других диагностических методик

в лучшем случае закрепляются второй и третий подходы.

*Я

Низкий уровень диагностической и статистической

подготовки современных педагогов в республиках

бывшего СССР мешает приблизиться к осознанию

необходимости валидизации теста и тем более к

применению корреляционного анализа для определения

критериальной, конкурентной, локальной валидности.

Особенно это относится к гуманитариям, которые

ещё со школьной скамьи забыли бином Ньютона, а слово

«таксономия» связывают с таксопарком. B.C. Аванесов

отмечает, что в начале XX века господствовал интуитив-

ный подход, и «если к выдумыванию тестов привлека-

лись известные учёные, то это являлось лучшим на тот

период способом обоснования валидности, который мож-

но назвать «валидизацией по авторитету».

Эмпиризм в 20-30-х годах был не так уж и плох. Он

способствовал преодолению интуитивизма в

обосновании тестов и сторонники прагматизма в духе

Дьюи создавали тесты на основе эмпирических

критериев — главное, чтобы они помогали быстрой и

дешёвой в экономическом плане селекции.

230