Равен Дж. Педагогическое тестирование: Проблемы, заблуждения, перспективы

Подождите немного. Документ загружается.

Педагогическое тестирование

тивны. Как может быть объективной оценка ученика или служа-

щего, если она игнорирует наиболее значимые интересы и при-

оритетные ценности этого человека, те способности, которые

могли бы у него развиться, следуй он им? Как может быть объек-

тивной экспертиза или оценка обучающей программы, если она

игнорирует важнейшие вредные последствия ее внедрения? Тем

не менее именно такие - в высшей степени избирательные - эк-

спертные заключения нам, как правило, и предлагают с оговор-

кой, что их односторонность и обеспечивает объективность пре-

доставляемой информации.

На самом же деле субъективные моменты содержатся во всех

экспертных заключениях, но их прячут за фасадом псевдонауч-

ности. Выбор того, что конкретно оценивается и включается в от-

четы, существенно зависит от предпочтений, ценностей и целей

тех, кто создает и отбирает используемые тесты, а не от качеств

людей или программ, подвергающихся экспертизе. Экспертиза

и оценка, которые не зависят от ценностного аспекта, как и сво-

бодное от ценностей образование, - это взаимоисключающие

понятия, то, чего быть не может, оксюмороны. Невозможна не

только внеценностная экспертиза, но и диагностика: допущение,

что тестирование должно быть внеценностным, само основано

на определенных ценностях. Оно опирается на субъективные

критерии выбора подходящих случаю методик. При таком под-

ходе тестирование оставляет ценности обследуемого человека

скрытыми, пусть даже это делается не намеренно. Чем скорее

этот факт будет осознан и учтен для изменения наших представ-

лений о тестировании, оценках и образовании, тем скорее мы

сможем продвинуться вперед.

Однако еще более важным ограничением объективности ре-

зультатов тестирования является то, что проявляемые челове-

ком качества существенно зависят от обстоятельств, в которых

он находится, или от возможностей, которые у него были для

развития оцениваемых качеств. Довольно трудно, скажем, най-

ти примеры проявления инициативы учащихся на уроках латин-

ского языка. Следовательно, выбор урока латыни в качестве

контекста для оценки инициативы дает основания заключить,

какого рода инициативу ценит сам проводящий тестирование

специалист. В результате выводы об инициативе на уроке латы-

ни не обладают прогностической валидностью не только по от-

ношению к другим ситуациям, но они вообще не отражают спо-

Джон РАВЕН

собности человека проявлять инициативу. Это никак не лишает

содержательности понятие инициативы, это просто показыва-

ет, что ее проявление и признание зависят от ценностных уста-

новок как оцениваемого, так и оценивающего. Таким образом,

настаивая на стандартизации тестовых заданий и ситуаций, мы,

может быть, и добиваемся воспроизводимости результатов на

уровне поведения, но уж, безусловно, не достигаем объектив-

ной оценки компетентности. Даже если аттестуемый заинтере-

суется самими заданиями или теми преимуществами, которые

дает их успешное решение, ситуация тестирования может вос-

препятствовать проявлению настойчивости, убежденности

и организованности, которые совершенно необходимы для ре-

ализации любой инициативы. Подобным же образом различия

между кандидатами нередко больше говорят нам о возможнос-

тях, которые они в прошлом имели для проявления инициативы

в определенных ситуациях, чем о том, что они объективно

способны делать в подобных ситуациях или что они обычно де-

лают в важных для них ситуациях. Следовательно, различия

между кандидатами, проявленные при решении типичных ди-

агностических задач (таких, например, как убедить несговорчи-

вых коллег построить мост через реку), обычно больше гово-

рят нам о том, был ли у кандидатов в прошлом соответствующий

опыт, чем о том, как бы они действовали, если бы такой опыт

у них был, или как они действуют, когда заняты чем-то, что их

интересует и что они любят и умеют делать. Они могут не иметь

ни склонности, ни способности убеждать других в необходи-

мости строить мост, который им кто-то велел построить, но они

могут оказаться очень изобретательными в разработке новых

материалов для строительства мостов или одаренными способ-

ностью убеждать других ознакомиться с соответствующей ин-

формацией. Неумение обнаружить такую способность вызыва-

ет серьезное сомнение в правомерности претензии Центра

занятости на объективность оценок.

Соображения, приведенные в последнем абзаце, составляют

настоящий обвинительный приговор любому тестированию ввиду

его необъективности. Действительно, процедуры тестирования

не позволяют учитывать:

• контекст, в котором ведется обследование, и характер пове-

дения, которое данные условия обычно стимулируют либо по-

давляют;

Педагогическое тестирование

• обстоятельства, которые в прошлом могли влиять на разви-

тие тех или иных способностей аттестуемого;

• реальные возможности аттестуемого при условии предостав-

ления ему достаточного времени для работы над заданием,

которое его действительно интересует;

• разновидности ситуаций, которые могут затронуть ценности,

мотивы и способности аттестуемого.

Очень немногие из используемых и претендующих на объек-

тивность измерительных процедур выявляют такого рода сведе-

ния. Типичное оправдание, что результат тестирования показы-

вает только то, как учащийся выполнил конкретный тест за

отведенное время, по сути только перекладывает ответственность

за несправедливость, порождаемую оцениванием, с разработчи-

ка теста на его пользователя. Но это отнюдь не придает тестиро-

ванию большей объективности. Тем более, что у пользователя

нет ни информации, ни опыта, чтобы понять, что было упущено

при оценивании и интерпретации оценок. Не имеет он также и ин-

формации о социальных последствиях полученных оценок, в то

время как профессиональная ассоциация диагностов могла бы

всю эту информацию предоставить. Отказ от обязанности при-

давать гласности факт ограниченности принятых оценочных про-

цедур и того потенциального ущерба, который они способны

нанести, является крайне безнравственным.

Выводы

В этой главе я стремился показать, что существует, по край-

ней мере, семь веских причин, по которым разработка альтер-

нативной измерительной парадигмы в образовании является

жизненно необходимой. Играя такую важную роль при распре-

делении должностей и социальных позиций, современная сис-

тема оценивания отвлекает школы от их истинных целей, стал-

кивает дискуссии по политике в сфере образования на

обсуждение тривиальных вопросов и приговаривает людей

с ценными для общества способностями к убогому и нищенс-

кому существованию, хотя школы вполне могли бы содейство-

вать их развитию. Такого рода оценки необъективны, лишены

конструктной и прогностической валидности. Они не помогают

нам ни отбирать кандидатов на влиятельные посты в обществе,

ни исключать допуск к этим должностям людей неподходящих.

Джон РАВЕН

Не помогают эти оценки и учителям при диагностике трудно-

стей в обучении детей, при определении необходимых мер для

их преодоления и при руководстве индивидуализированными

обучающими программами, ориентированными на развитие

компетентностей. Не помогают они также политикам и менед-

жерам в создании более эффективной системы образования и уп-

равлении ею, не говоря уже о том, чтобы способствовать раз-

витию разных образовательных систем. Принятая система

держит пользователей тестовых методов в плену ложных пред-

ставлений об оценке, а педагогов-исследователей в целом -

в плену ложных представлений о науке. Они ставят психоло-

гов, работающих в системе образования, в двусмысленное по-

ложение. И поскольку в долгосрочной перспективе последствия

применения этих оценочных процедур деструктивны как для от-

дельных людей, так и для общества в целом, такие методы мож-

но рассматривать только как безнравственные.

В следующих главах я попытаюсь показать возможный выход

из создавшегося положения, а эту главу хотел бы закончить, осо-

бо подчеркнув одно из положений последнего абзаца. Тот факт,

что обсуждаемые здесь вопросы поднимаются крайне редко, по-

зволяет предположить, что в модели науки, которой постоянно

оперируют исследователи социальных проблем, по сути нет ме-

ста постановке новых вопросов, переформулированию ранее из-

вестных проблем, а также обсуждению и прояснению базовых

понятий на основе углубляющегося понимания наблюдаемых

процессов и явлений. В такой модели приоритет отдается слепо-

му эмпиризму. Одного этого уже достаточно для постановки воп-

росов, действительно ли система образования достигает своих

основных целей и как достичь этих целей более эффективно.

ПРИРОДА КОМПЕТЕНТНОСТИ

В предыдущих главах было показано, что новые формы оце-

нивания необходимы для достижения нескольких целей.

Во-первых, чтобы учителя могли руководить индивидуализи-

рованными обучающими программами, ориентированными на

развитие компетентностей. Если необходимо, чтобы у учеников

развивались компетентности высокого уровня, они должны иметь

возможность применять их в процессе выполнения интересной

для них деятельности. Чтобы они могли это делать, учителя дол-

жны уметь определять склонности, интересы и типы компетент-

ности своих учеников и наблюдать за их изменением в процессе

приобретения опыта.

Во-вторых, чтобы ученики могли выявлять свои специфичес-

кие таланты, следить за их становлением в процессе развития и по-

лучать признание своих дарований и достижений. Новые формы

оценивания в системе образования необходимы также для того,

чтобы люди могли получить признание тех талантов, которые они

развили в процессе работы и жизни в обществе, потому что имен-

но там люди приобретают наиболее важный опыт развития. Толь-

ко так можно будет разжать мертвую хватку, с которой институты,

занимающиеся образованием, удерживают сегодня контроль за

требованиями, предъявляемыми при приеме на работу.

В-третьих, чтобы учителя могли получить признание своих

достижений при изучении и оценке их деятельности. Они, как

и любые государственные служащие, нуждаются в поощрении за

внимание к потребностям клиента и поиск наилучших способов

их удовлетворения.

В-четвертых, чтобы те, кто отвечает за педагогическую диаг-

ностику, могли планировать такие исследования, которые были

бы способны вдохновить руководство на поиск путей улучшения об-

разовательных программ и образовательной политики в целом.

Джон РАВЕН

В-пятых, чтобы стало возможным проведение более эффек-

тивной политики в области трудовых ресурсов, основанной на

более тонких процедурах профессионального обучения, трудо-

устройства и дальнейшего профессионального роста, а также

политики в области отбора кадров, что позволило бы привлечь

достойных кандидатов на влиятельные посты в обществе и от-

странить неподходящих.

В этой главе я предлагаю основу для построения новой изме-

рительной парадигмы. В дальнейшем будет показано, как эта па-

радигма уже используется в настоящее время и как она может

быть усовершенствована в будущем.

Начать построение новой измерительной парадигмы следует

с вопроса: что такое компетентность? Более подробно он обсуж-

дался в моей книге «Компетентность в современном обществе:

выявление, развитие и реализация»

3.1

. Здесь мы ограничимся теми

аспектами компетентности, которые являются существенными

в плане построения новой парадигмы оценивания, и не будем об-

суждать вопросы, касающиеся непосредственно развития ком-

петентности.

Чуть ли не везде можно прочитать, что инициатива - это то

качество, которое педагогу жизненно важно поддерживать. Ини-

циатива признается важной как для капитализма, основанного

на конкуренции, так и для развитого социализма. Что же такое

инициатива?

Чтобы проявить инициативу, человеку необходим внутренний

мотив. Людям, начинающим что-то делать по собственной иници-

ативе, приходится быть настойчивыми и посвящать этой деятель-

ности массу времени, размышлений и усилий. Им приходится пред-

принимать новаторские действия, внимательно следить за их

результатами и на этой основе глубоко изучать ту проблему, кото-

рую они пытаются решить, учитывая ее социальный, политичес-

кий, экологический и другие аспекты, а также оценивая эффек-

тивность или неэффективность используемых ими стратегий.

Чтобы добиться успеха, они должны предвидеть препятствия, ко-

торые могут возникнуть на их пути, и возможности их обойти или

преодолеть. Таким людям приходится добывать уникальные спе-

циальные знания и сведения. Они нуждаются в помощи других

людей. Им нередко приходится вступать в коалиции, чтобы обрес-

ти контроль над социальными и политическими силами, которые

в противном случае могут увести их от цели.

Педагогическое тестирование

Может быть, самое главное, что надо подчеркнуть, пытаясь

прояснить природу компетентности, это то, что ни один чело-

век не будет действовать именно так, если он глубоко и лично

в этом не заинтересован. Ценности, таким образом, оказыва-

ются во главе угла

3.2

. На практике же содержанием деятельнос-

ти, имеющей личностную ценность, может быть достижение

конкретного результата (например, остановка фабрики, загряз-

няющей реку) или способа поведения (например, нахождение

наилучших путей решения проблем или организации совмест-

ной работы людей).

Сказанное имеет самое серьезное отношение как к психоло-

гическим, так и к педагогическим измерениям. Оно означает, что

прежде, чем браться за оценку чьих-то способностей, необходи-

мо установить ценности, увлечения или намерения данного ин-

дивида. Развитие тех или иных способностей требует затрат вре-

мени, энергии и усилий. В результате люди могут проявить их

только в процессе личностно значимой для них деятельности.

Нет никакого смысла пытаться оценивать способности человека

вне связи с субъективно значимыми для него целями.

Из приведенных рассуждений о природе компетентности так-

же следует, что бессмысленно оценивать отдельно когнитивный,

аффективный и волевой

3.3

компоненты деятельности. Нельзя адек-

ватно оценить «способность находить новые подходы к анализу

чего-либо», отделив ее от того удовольствия, которое испытуе-

мый получает от этого занятия, а также от его настойчивого

стремления превратить смутные догадки в ясно выраженные

мысли. Эти аффективные и волевые компоненты являются

внутренними составляющими того, что мы называем «способ-

ностью к познанию»

3.4

. Эти три компонента не только взаимо-

связаны и взаимодополняют друг друга, но они должны быть

в равновесии, чтобы обсуждаемое поведение - проявление ини-

циативы - оказалось успешным. Вряд ли преданность делу без

его глубокого понимания или понимание без самоотверженнос-

ти смогут привести к успеху.

Эти наблюдения входят в острое противоречие с многими тра-

диционными канонами психометрии. Я утверждаю, что невоз-

можно оценивать способности вне зависимости от ценностей

человека. Отсюда следует, что необходимо принять двухэтапную

процедуру для оценки компетентности. Мы должны сначала вы-

яснить, какой тип поведения ценен для человека, и только

Джон РАВЕН

потом оценивать его способность свести воедино различные

потенциально важные когнитивные, эмоциональные и волевые

усилия ради успешного осуществления деятельности.

Важно подчеркнуть еще один момент: широко распростра-

ненное представление о том, что можно использовать один на-

бор тестов для выявления ценностных ориентаций, а другой,

выбранный независимо от первого, - для оценки знаний, уме-

ний, способностей или компетентности, просто лишено смысла.

Последние могут быть развиты и проявлены только в тех ситуа-

циях, где выполняемая деятельность приобретает личностную

значимость. Более того, поскольку люди часто не в состоянии

объяснить другим, в чем заключаются их собственные предпоч-

тения и стремления, один из лучших способов выяснить их ин-

тересы состоит в том, чтобы спросить: в процессе выполнения

какой деятельности этот человек обнаруживает разнообразные

компетентности высокого уровня?

Наш пример с инициативой высвечивает также и другую про-

блему, а именно: допущения, на коих основана доминирующая

измерительная парадигма в психологии и образовании, не позво-

ляют подступиться к важным аспектам компетентности. Обще-

принятая психометрическая теория придает особую важность

внутренней согласованности, или факторной чистоте тестов.

Оценки, полученные по тестам, в которых отдельные вопросы

или задания не коррелируют друг с другом, считаются незначи-

мыми. Наш пример показывает, однако, что это неверно. Прояв-

ления инициативы тем скорее оказываются успешными, чем бо-

лее разнообразные и независимые действия способен совершать

человек, стремясь к достижению своей цели. Например, человек

с большей вероятностью достигнет успеха, если он может пере-

осмыслить проблему, добиться помощи и содействия коллег, на-

стойчиво работать в течение длительного времени и т.п. Непохо-

же, однако, что склонность и способность людей к совершению

любого из этих действий тесно связаны с их склонностью и спо-

собностью совершать все остальные. Более того, если они могут

делать что-то одно особенно хорошо, это может в определенной

степени компенсировать недостатки в другом.

Из этого следует, что если мы хотим оценивать такие каче-

ства, как инициатива, то вместо того, чтобы разрабатывать изме-

рительные средства, которые обладали бы максимально возмож-

ной внутренней согласованностью, нам надо попытаться

Педагогическое тестирование

разработать шкалы показателей, которые как можно меньше кор-

релировали бы друг с другом

3.5

. Это не такая уж ересь, как ка-

жется на первый взгляд, поскольку принятая практика состоит

в использовании метода множественной регрессии, оперирующе-

го максимально независимыми переменными для получения на-

дежного прогноза.

Сказанное можно обобщить следующим образом: если мы

действительно хотим найти способы оценки важнейших челове-

ческих качеств, нам надо отказаться от практики создания неза-

висимых от ценностей внутренне согласованных (однородных)

измерительных шкал. Вместо этого нам придется разрабатывать

шкалы, основанные на ценностях и состоящие из максимально

внутренне неоднородных показателей, адекватных реальной пси-

хологической сложности этих качеств.

Понимание социального устройства

Теперь самое время поделиться с читателем еще одним сооб-

ражением, возникшим в ходе нашей работы: основанное на цен-

ностях понимание социальных процессов играет центральную

роль в компетентном поведении и должно учитываться при лю-

бой осмысленной оценке компетентности.

Поведение людей в очень большой степени определяется

представлениями о том, как следует действовать в тех или иных

случаях, кто и с кем должен взаимодействовать и по какому

поводу. Оно находится также под сильным влиянием представ-

лений о социальных ролях, то есть о том, кто и что должен

делать в соответствии со своим положением, какие ожидания

и реакции на поведение человека возможны у его окружаю-

щих. Поведение определяется и собственными представлени-

ями людей о тех социальных процессах, которые обозначают-

ся понятиями «управление», «участие», «принятие решения

большинством», «ответственность руководителя», «благосос-

тояние» и «демократия».

Трудность заключается в том, что если мы хотим оценивать

компетентность адекватным образом, нам придется иметь дело

с этими, по существу, социальными (политическими) представ-

лениями.

Поскольку этот вывод поднимает вопросы о социальном

контроле над процессом обучения и о «промывании мозгов»

Джон РАВЕН

в школе, необходимо привести дополнительные доказательства

в его пользу. Надо сказать, что мы сами первоначально при-

шли к нему от прямо противоположной посылки. Однако, ког-

да мы сравнивали более компетентных и менее компетентных

фермеров, учителей, водителей автобусов, кузнецов, менедже-

ров и армейских офицеров, в каждом случае именно полити-

ческое (с маленькой буквы) поведение, которое демонстриро-

вали преуспевающие в своем деле люди, оказывало наиболее

существенное влияние на их достижения. Напротив, основным

источником некомпетентного профессионального поведения

в современном обществе оказывается неспособность и неже-

лание людей предпринимать что бы то ни было в отношении

многочисленных социальных, организационных и политичес-

ких ограничений, находящихся за пределами их прямых слу-

жебных обязанностей, тогда как именно эти «внешние» огра-

ничения главным образом и определяют, что человек может

сделать на своем рабочем месте.

Описание персональной жизненной ситуации

как неотъемлемый компонент оценивания

На поведение человека оказывает заметное влияние сам спо-

соб восприятия им своей реальной жизненной ситуации. Поми-

мо того, эти обстоятельства оказывают и другие влияния, как

прямые, так и косвенные. Непосредственное влияние обстоя-

тельств связано с ограничением возможных форм и способов

поведения человека, а их косвенные влияния реализуются через

понятия, представления и компетентности, которые человек име-

ет возможность развивать и применять.

Получается, что если мы хотим оценить компетентность, нам

придется принять во внимание реальные обстоятельства, в кото-

рых она проявляется, и ее субъективный контекст. Как мы уже

видели, будет бессмысленно либо несправедливо говорить, что

у людей нет способности к какой-то деятельности, если у них

никогда не было возможности попрактиковаться или хотя бы по-

пробовать себя в ней. Стремление же к измерению «базовых»

качеств только укрепляет «однофакторную» модель способнос-

тей, игнорирующую контекст. Решение этой дилеммы возможно

только путем включения оценки реальной жизненной ситуации

в процедуру оценки индивида.