Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 361

Особенно если результаты будут оперативно сообщаться

учащимся и при этом будут даваться рекомендации по са-

моусовершенствованию.

Этот аспект фактора нестабильности во времени

вполне можно закладывать как позитивный и измеряемый

в методологический эксперимент по апробации нового

теста (если удаётся найти экономичные во времени и по

усилиям методики психодиагностического

сопровождения) и в типовую (после стандартизации

теста) процедуру диагностирования.

Разумеется, делать это следует после выявления до-

статочно значимых корреляций побочных факторов с ус-

пешностью выполнения дидактического теста и, в первую

очередь, применительно к особенно ответственным тес-

там отсева, селекции, итогового контроля знаний. В ос-

тальных случаях вряд ли психодиагностическое сопро-

вождение целесообразно (хотя и здесь можно было бы

иметь в виду поправочные коэффициенты, коррелирую-

щие с типичными ответами на блиц-анкету).

Второй аспект фактора нестабильности во времени

также можно оценивать, если провести серию методоло-

гических экспериментов по выявлению корреляций между

типичным набором таких ситуаций и результатами теста.

Для этого необходимо разработать и проверить

опросники с самооценками обследуемых возможных

негативных факторов (с несложными шкалами) и

просчитать корреляции, введя их в поправочные

коэффициенты к тесту (на основе достаточно

репрезентативных выборок). Опросники для полноты

информации могут заполняться До и после тестирования.

Третий аспект фактора также может учитываться ли-

бо в методиках психодиагностического сопровождения

(текущая конкурентная валидность), либо в поправочных

коэффициентах, выработанных в методологическом экс-

перименте с такими методиками (ретроспективная* или

прогностическая конкурентная валидность). Проблема

решаема и дело лишь за экспериментами, которые пока

что не проводились (или не описаны).

Ч А С Т Ь В Т О Р А Я

Влияние на методологический эксперимент различия

экспериментальных задач

Различия экспериментальных задач, если это вызвано

объективной потребностью перестройки теста, всё равно

будут сказываться, но их можно сгладить дополни-

тельным установочным инструктажем, в котором будут

указаны произведённые качественные изменения в тесте.

Этому также содействует предупреждение о

необходимости понять задание, его инструктивную часть.

Различия при ретесте во время выверки нового вари-

анта могут стать значимым фактором, если на одном

контингенте мы проверяем тот же тест после очень су-

щественной структурной (конструктивной) его перест-

ройки.

Средством амортизации изменения эксперименталь-

ных задач при апробации дидактического теста будет

фиксация методических изменений.

Желательно, чтобы она сопровождалась не только

мотивировкой причин перестройки задания, но и выдви-

жением корректно сформулированных гипотез о возмож-

ном изменении отношения обследуемых к тесту и о после-

дующих результатах в различных подгруппах (по базовой

успеваемости, полу, возрасту и т.п.).

Соответствующие инструкции о том, как проводить и

фиксировать наблюдения за поведением обследуемых,

должны быть даны диагностам. Тогда будет гораздо

легче проверить реальное воздействие на тест данного

фактора и определить его потенциальную склонность к

динамической перестройке, «чистую эффективность

заданий теста». Если при этом будут просчитаны

изменения в согласованности, балансировке знаний

теста и его субтестов, коэффициенты селективности

заданий и прочие характеристики эмпирического

анализа, то процесс дальнейшей доводки до требований

стандартизации будет идти научно обоснованно и

системно.

362

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 363

Влияние на методологический эксперимент

последовательности тестовых заданий

Последовательность предъявления однотипных и

разнотипных заданий при достаточно больших дидакти-

ческих тестах (особенно при рубежном и итоговом кон-

троле) является вполне реальным фактором «сдвига ин-

формации». Он отмечается социологами при проведении

опросов по большим анкетам и сложным программам ис-

следовательских интервью. Здесь появляются индивиду-

альные и возрастные особенности переключаемости, кон-

центрации внимания и внушаемости.

Срабатывает этот фактор, если обследуемые ранее

регулярно работали с дидактическими тестами. А таких

учащихся у нас большинство, так как среди педагогов всё

еще сильна «тестобоязнь». Средств профилактики сдвига

информации от негативного воздействия этого фактора

мы реально не видим, если адаптируемый тест составлен

таким образом, что именно такая логика предъявления

заданий теста методологически мотивирована.

Социологи для анкет, где последовательность вопро-

сов принципиального значения не имела, а сами вопросы

касались широкого спектра проблем, советовали разбра-

сывать тематически связанные вопросы по всей анкете

(начало, середина, конец). Это оправдывало себя, так как

не позволяло обследуемым корректировать свои первона-

чальные ответы на близкие или аналогичные (проверяю-

щие) вопросы.

Таким образом, создавалась возможность взаимокон-

троля полученных ответов по особо значимым вопросам,

выявлялись противоречия в ответах и неискренность оп-

рашиваемого.

3-2976

Аналогичная техника конструирования методики ис-

пользуется при построении большинства многофакторных

личностных опросников (Г. Айзенка, Т. Лифи, Л.П.

Ч А С Т Ь В Т О Р А Я

Калининского и др.). В них по большому количеству

сходных или почти дублирующих формулировок,

симптомов признака выявлялась доминирующая позиция

опрашиваемого, его статус («сырые баллы») по тому или

иному фактору-критерию.

В дидактическом тесте такой подход может быть це-

лесообразен лишь в том случае, если разработанный тест

является «входным» либо «итоговым» и должен на основе

наиболее существенных, тематически мало связанных

вопросов из разных сфер (учебных дисциплин, разделов

курса) выявить общую ориентировку, широту эрудиции

опрашиваемого.

Но предметный дидактический тест чаще всего отра-

жает сложные и устойчивые внутрипредметные (а часто и

межпредметные) связи между темами, разделами курса.

Общедидактический принцип систематичности в форми-

ровании знаний в определённой степени должен распро-

страняться и на процедуры их контроля. Хотя какова эта

степень для различных дидактических целей диагности-

ки, необходимо определить не априори, а в строгих мето-

дологических экспериментах. Нужны специальные экс-

перименты по соотнесению вида учебного материала и

типа (вида) дидактических тестов* диагностирующих

такого рода знания.

Только на их основе, просчитывая в методологических

экспериментах корреляции, можно категорично и

обоснованно утверждать, что именно такая логика и по-

следовательность построения заданий должна быть в

данном тесте при решений определённой

диагностической задачи. Пока таких сведений нет, к

экспериментированию с изменением в тесте логики и

формы построения заданий следует подходить

осторожно.

Разработчик теста должен учитывать многообразие

форм построения тестов и тестовых заданий.

Взаимосвязи форм теста и знаний различного рода и

вида (теоретических, прикладных, представленных в

364

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 365

виде правил, законов, схем, графиков, алгоритмов

действий, формул и т.п.) пока почти не изучены.

Поскольку нами при анализе диагностической лите-

ратуры выявлено более 10 оснований для построения

обычного (некомпьютерного) дидактического теста (а ти-

пологизация компьютерных может добавить ещё не-

сколько), то вполне можно утверждать, что разработчик

имеет немалую свободу выбора форм конструирования те-

ста и его композиции. Даже если у него предельно строго

сформулирована диагностическая задача и в компьюте-

ризированном варианте «степень свободы» может быть

больше (хотя, возможно, и не всегда).

Для этого разработчику достаточно иметь развёрну-

тую типологию дидактических тестов и обладать некото-

рым опытом их конструирования (хотя бы по известным

образцам). То, что информация такого рода просачивает-

ся в практическую педагогическую диагностику медлен-

но, — это беда нашей практики, но беда, вполне поправи-

мая при централизованном управлении и стимулировании

разработок и публикаций по дидактическому тести-

рованию, при цивилизованной охране авторских прав

разработчиков.

Влияние на методологический эксперимент

предубеждений экспериментатора

Если при тестировании обследующим (супервизором)

является преподаватель, имеющий сложные отношения с

данной учебной группой, то реально получить некачест-

венную информацию по тесту.

Можно либо заменить обследующего, который с по-

мощью различных психолого-педагогических приёмов

настроит группу на рабочий лад, либо ввести строгий

внешний контроль за поведением экспериментатора-тес-

толога, либо перейти к компьютерному тестированию со

стимулирующей мотивацию профессиональной програм-

мой с «дружественным интерфейсом».

Ч А С Т Ь В Т О Р А Я

В любом случае в самооценочной системе психодиаг-

ностического сопровождения при выверке первоначаль-

ного варианта теста целесообразно предусмотреть и

Ответы обследуемых на вопросы об их отношениях с

экспериментатором. Вопросы должны быть скорее всего

косвенными, поскольку о сохранении анонимности при

дидактическом (особенно компьютерном) тестировании в

небольших учебных группах серьёзно говорить не стоит:

при желании опытный педагог почти точно «вычислит»

всех своих учеников.

При выверке теста вряд ли стоит добиваться аноним-

ности обследуемых — ведь тогда мы сразу теряем

возможность определения локальной валидности теста и

ряда аспектов факторной валидности, — а это ценнейшая

информация, особенно для школ, где проверяется

методика.

Строгость соблюдения формализованных диагности-

ческих процедур и инструктивных предписаний диагносту

(при тестировании американцы называют его суперви-

зором) значительно ослабляет негативное влияние этого

фактора. Это доказано и отечественными психодиагнос-

тами. О.Н. Арестова отмечает, что «по мере уменьшения

стандартизации увеличивается вовлечённость психолога-

психодиагноста в процесс обследования и усиливается

влияние его личностных особенностей на результат. Воз-

действие личности экспериментатора на стандартизиро-

ванные методики наиболее сильно на этапе, предшеству-

ющем самой процедуре обследования, — этапе разработ-

ки методики и её воплощения в схему эксперимента» [14,

с. 87].

Внешние факторы, влияющие на внутреннюю

валидность методологического эксперимента

В какой степени внешние факторы могут влиять на

внутреннюю валидность — всегда интересовало экспери-

ментаторов.

366

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 367

На основе многолетнего исследовательского опыта

экспериментатора Д. Кэмпбелл приводит 8 факторов

(различных видов внешних переменных), относящихся к

внутренней валидности:

1) фона (history) — конкретных событий, которые

происходят между первым и вторым измерением наряду с

экспериментальным воздействием;

2) естественного развития (maturation) — изменений

испытуемых, являющихся следствием течения времени

(perse — не связанных с конкретными событиями);

3) эффекта тестирования (testing) — влияние выпол-

нения заданий, применяемых для измерения достижений

испытуемых в эксперименте, на результаты повторного

испытания;

4) инструментальной погрешности, нестабильности

измерительного инструмента (instrumentation), при кото-

рой изменения в калибровке инструмента или изменения,

характеризующие наблюдателя или оценочные показате-

ли, могут сказаться на результатах измерения;

5) статистической регрессии (statistical regression),

имеющей место в том случае, когда группы отбираются на

основе крайних показателей и оценок;

6) отбора испытуемых (selection) — неэквивалент-

ность группы по составу, что ведёт к систематическим

ошибкам в результатах; ~

7) отсева в ходе эксперимента (experimental mortoli-

ty) — неравномерности выбывания испытуемых из срав-

ниваемых групп (когда эксперимент ставится с контроль-

ной группой, в которой не проводятся экспериментальные

изменения);

8) взаимодействий фактора отбора с естественным

развитием и др., которые в ряде квазиэкспериментальных

планов с несколькими группами обычно принимаются за

эффект экспериментальной переменной [41, с. 46-47].

Учёт этих факторов, уже систематизированных спе-

циалистом по методике эксперимента, должен быть отра-

жён в сопроводительной документации, характеризую-

щей результаты стандартизации методики.

Ч А С Т Ь В Т О Р А Я

Редко приводящиеся в нашей психолого-педагогичес-

кой литературе данные о диагностических характеристи-

ках методик не дают адекватного представления о её до-

стоинствах и возможностях. Поэтому значительный ме-

тодологический интерес представляли бы сравнительные

контент-аналитические исследования качества описания

предлагаемых диагностических методик, тестов, про-

грамм.

ПРОЦЕДУРЫ УСТАНОВЛЕНИЯ ВНЕШНЕЙ ВАЛИДНОСТИ

Характеризуя различия внутренней и внешней валид-

ности, Д. Кэмпбелл пишет, что «внутренняя валидность —

это тот минимум, без которого не может быть

интерпретирован ни один эксперимент: действительно ли

именно это экспериментальное воздействие привело к

изменениям в данном эксперименте? Внешняя валидность

относится к возможностям обобщения вывода: на какие

популяции, ситуации, другие независимые переменные,

параметры воздействия и переменные измерения могут

быть распространены результаты эксперимента» [115, с.

45].

Внешнюю валидность В.В. Петухов определяет как

достоверность выводов, которые обеспечивают результа-

ты реального эксперимента по сравнению с результатами

эксперимента полного соответствия (т.е. привлекающего

такие уровни дополнительных переменных, которые сов-

падали бы с уровнями этих переменных в изучаемой ре-

альности). Повышение внешней валидности обеспечива-

ется соответствующим уровнем дополнительных пере-

менных в эксперименте. Без внешней валидности экспе-

римент является неверным, не соответствующим постав-

ленной гипотезе (но может быть использован для провер-

ки другой гипотезы) [41, с. 430].

Следует отметить, что понятие «внешняя

валидность» употребляется другим видным зарубежным

теоретиком эксперимента — Д. Кэмпбеллом — как

368

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 369

аналогичное термину «репрезентативность

эксперимента» [115, с. 47].

Это, на наш взгляд, более узкая, ограниченная трак-

товка, чем у Р. Готтсданкера и В.В. Петухова. Р. Готт-

сданкер считает, что невозможна безупречная внешняя

валидность, поскольку в реальном эксперименте «нельзя

достичь полного соответствия всех тех жизненных обсто-

ятельств, к которым прилагаются его результаты. И мож-

но говорить лишь о большей или меньшей внешней ва-

лидности в искусственных экспериментах, смотря по то-

му, в какой степени соблюдается в них требование полно-

го соответствия» [41, с. 122].

В дидактическом тестировании, когда проводится

стандартизация и (или) адаптация теста, мы обычно име-

ем дело с естественным педагогическим экспериментом,

хорошо вписывающимся в реальную ткань учебно-воспи-

тательного процесса.

Настолько хорошо, что при удачном его планировании

и умелой организации учащиеся могут даже не по-

чувствовать, что они являются объектами (участниками)

эксперимента.

В какой же степени нам может пригодиться опыт и

методология внешней валидизации? Ведь без достоверно-

сти выводов методологического эксперимента по апроба-

ции теста методика не пригодна для практического ис-

пользования.

Факторы, обеспечивающие внешнюю валидность

методологического эксперимента

По мнению Р. Готтсданкера, внешняя валидность

должна быть обеспечена соответствием:

1) независимой переменной (уверенностью экспери-

ментатора в том, что введённые им условия в одних

реальных случаях являются типичными, а в других —

вполне вероятными);

2) зависимой переменной, которая при каждом из ус-

ловий независимой переменной принимает определённое

Ч А С Т Ь В Т О Р А Я

значение, включающее: а) ответы испытуемого и его

поведение; б) измеряемые показатели этих ответов; в)

способ представления результатов измерений;

3) дополнительных переменных (ключевых,

особенно если их несколько; одновременно выполняемых

действий разной степени сложности; влиянием фактора

«сжатия во времени» искусственной ситуации по

сравнению с моделируемой реальностью,

направленностью испытуемых во время эксперимента из-

за значимости самой ситуации) [41, с. 132].

Практика педагогического и психологического экс-

перимента подсказывает некоторые средства

обеспечения внешней валидности. Рассмотрим их

подробнее.

Соответствие независимой переменной

Соответствие независимой переменной первоначаль-

но может обеспечиваться только качественным её

определением не на основе личных субъективных

предпочтений разработчика-экспериментатора, а путём

её моделирования группой квалифицированных

экспертов. Независимая переменная для теста — это

обычно «внешний критерий», часто достаточно сложный и

структурно представляющий собой конструкт из ряда

высоко коррелирующих между собой факторов.

В построении такого конструкта группой экспертов

целесообразно использовать известные в прикладной со-

циальной психологии методы формирования коллектив-

ного творческого мышления. Это «мозговая атака», «уто-

пические игры», «шкаф проблем» и прочие приёмы раци-

онализации интеллектуальной деятельности.

Чем полнее удаётся выявить составляющие конст-

рукта, чем больше собрать и обработать данных о его

структуре и взаимозависимости, о корреляции входящих в

него факторов-компонентов, тем больше вероятность

получения высокой факторной валидности по этим со-

ставляющим внешней валидности.

370