Равен Дж. Педагогическое тестирование: Проблемы, заблуждения, перспективы

Подождите немного. Документ загружается.

Педагогическое тестирование

Выявление социальных ценностей и

представлений

Хотя удовлетворяющее современным требованиям измерение

компетентности должно учитывать ценностные ориентации

и включать широкий спектр уже упоминавшихся социальных

и гражданских представлений, выявить их путем простого опро-

са людей о том, что они ценят в поведении или как они представ-

ляют себе общество и свою роль в нем, к сожалению, не пред-

ставляется возможным. Поскольку люди, как правило, мало знают

о ценностях, предпочтениях и образе мысли других людей, они

не могут осознать и тем более сформулировать, в чем их специ-

фические отличия. Именно поэтому ученики, обучавшиеся по од-

ной программе, не могут объяснить, в чем будет заключаться

особенность их подхода к постановке и решению задач по срав-

нению с другими учащимися, которых обучали по иным програм-

мам.

Проблема не сводится только к неспособности людей воспри-

нимать и отчетливо формулировать свои индивидуальные убеж-

дения. Дело в том, что некоторые из наиболее важных социальных

ценностей и представлений разделяются всеми членами данной

культурной группы, так что заметить и сформулировать различия

очень трудно, даже обладая всей полнотой информации.

Итоги и переформулирование проблемы

По ходу изложения я высказал некоторые идеи, на осознание

и формулирование которых у меня и моих коллег ушли многие

годы и которые сильно отличаются от многих традиционных по-

сылок современной психологической и педагогической науки.

Коллеги нередко говорили, что понять эти идеи было бы легче,

если бы их представить в иной, более наглядной форме. Сейчас

я и сделаю это, используя трехмерную модель, которую предло-

жил Ron Johnson (см. рисунок 1).

Johnson утверждает, что поведение является результатом вза-

имодействия трех переменных: 1) навыков и способностей, 2) мо-

тивации и 3) ситуации, в которой находятся люди. Для наших

целей можно подставить «компоненты компетентности» вместо

«навыков и способностей» и «ценности» вместо «мотивации».

Я, однако, утверждал также следующее:

Джон РАВЕН

1) Компоненты компетентности будут развиваться и прояв-

ляться только в процессе выполнения интересной для человека

деятельности. Их нельзя вычленить так, как это показано на ри-

сунке 1, и оценивать отдельно от мотивации. Мотивация являет-

ся интегральной частью компетентности.

2) Эффективная - результирующая - деятельность гораздо

больше зависит от целого ряда независимых и взаимозаменя-

емых компетентностей, которые охватывают широкий спектр

ситуаций в процессе продвижения к цели, чем от уровня от-

дельной компетентности или способности, проявляемой в кон-

кретной ситуации. Нам следует оценивать именно полный на-

бор компетентно стей, проявляемых индивидами в различных

ситуациях в течение длительного времени, затрачиваемого на

достижение личностно значимых целей, а не уровень какой-

либо отдельной способности. Любой обобщенный показатель

отдельной «способности» или «мотивации» индивида абсолют-

но бессмыслен.

3) Конкретная ситуация, в которой оказывается индивид, не-

посредственно влияет на формирующиеся у него ценности и на

возможность развития и овладения новыми компетентностями.

Эти влияния не тождественны ситуационной детерминации по-

ведения конкретного индивида, обладающего определенным на-

бором мотиваций и способностей. Но не только обстоятельства

имеют власть изменять людей, сами люди также активно осу-

ществляют выбор и проявляют себя по-новому в зависимости

от конкретных обстоятельств. Модель, которую предложил

Johnson (см. рисунок 1), этого не учитывает. Она создает впе-

чатление, что изменение некоторых особенностей среды при-

ведет к росту (или снижению) качества или частоты определен-

ного поведения при сохранении неизменной мотивации

и способности индивида.

Несмотря на указанные ограничения, эта модель весьма по-

лезна, поскольку она подчеркивает следующее: а) важно учиты-

вать совокупность всех трех переменных; б) поведение является

продуктом'всех трех переменных; в) компоненты компетентнос-

ти могут оцениваться только в отношении значимых для индиви-

да задач; г) на поведение сильно влияет восприятие человеком

ситуации, в которой он оказался, понимание им стиля работы

в данной организации и ожидание определенных реакций со сто-

Педагогическое тестирование

роны других людей; д) люди способны проявить все свои компе-

тентности только тогда, когда воспринимают ситуацию, в кото-

рой они находятся, как подходящую для занятия интересной для

них деятельностью.

Рисунок 1: Модель Джонсона

Кроме того, модель подчеркивает, что сама по себе компе-

тентность, которую люди проявляют при выполнении навязан-

ного им задания (результирующий вектор, показанный на ри-

сунке 1), не может рассматриваться как значимый показатель

уровня их актуальной компетентности в отношении этого зада-

ния, не говоря уже о комплексе компетентностей, которыми они

обладают.

Эту модель можно также использовать для иллюстрации того

факта, что оценки поведенческих актов - результирующих век-

торов - со стороны других людей являются еще менее валидным

показателем компетентности аттестуемого, чем само его поведе-

ние, поскольку то, что воспринимают оценивающие, зависит от

их собственных ценностей и приоритетов, их понимания задач

и ситуаций и их способности взаимодействовать с аттестуемым,

который по собственным ценностям, приоритетам и одареннос-

ти может сильно отличаться от оценивающих. Многим учителям

Джон РАВЕН

(и менеджерам) недостает уверенности в своей способности уп-

равлять независимыми, самостоятельно мыслящими и любозна-

тельными учениками (подчиненными). Это тормозит их желание

создавать ситуации, в которых подобные качества могли бы про-

являться и развиваться, и существенно влияет на их отношение

к подобному поведению, если оно все-таки имеет место.

Важно отметить, что речь идет о «результирующем» поведе-

нии, отягощенном всяческими привходящими факторами, кото-

рое не всегда согласуется с ценностями и способностями

аттестуемого, доступными непосредственному наблюдению.

Единственный способ преодолеть или обойти эту трудность со-

стоит в том, чтобы, с одной стороны, все-таки как-то проник-

нуть в мысли и переживания аттестуемого, а с другой - макси-

мально эксплицировать и учесть ценности, приоритеты,

допущения и компетентности самого эксперта.

МОДЕЛЬ КОМПЕТЕНТНОСТИ,

МОТИВАЦИИ И ПОВЕДЕНИЯ

Настало время вернуться к задаче выработки нашей собствен-

ной модели компетентности и способа оценки ее компонентов.

Уже отмечалось, что было бы неверно пытаться оценить внут-

ренне мотивированные компетентности, которые делают пове-

дение эффективным, вне связи с субъективно значимой для че-

ловека деятельностью. Мы также видели, что компетентность

многокомпонентна, что многие ее компоненты относительно не-

зависимы друг от друга и что сами компетентности обладают

качествами кумулятивности и взаимозаменяемости.

Эти размышления о компетентности более наглядно представ-

лены в таблице 6.

В ней по горизонтали указаны некоторые ценные для лю-

дей аспекты поведения. Они объединены в три группы (Дос-

тижение, Сотрудничество, Влияние), которые в 1958 году вы-

делил McClelland и которые были эмпирически подтверждены

в нашей предыдущей работе

4.1

. По вертикали перечислены ком-

поненты поведения, наличие которых делает весьма вероят-

ным успешное завершение деятельности. Эти компоненты ком-

петентности разделены на когнитивные (вроде разработки

плана или определения препятствий на пути к достижению

цели), аффективные (например, удовольствие от работы или

желание, чтобы необходимая, но неприятная ее часть была

выполнена) и волевые (такие, как настойчивость, решитель-

ность, воля). Там же приведен и ряд других факторов, способ-

ствующих эффективной деятельности, вроде получения под-

держки от других или убежденности, что твое поведение

соответствует как твоим собственным представлениям о не-

обходимости подобных действий, так и представлениям об

этом значимых для тебя людей

4.2

Джон РАВЕН

Таблица 6

Модель компетентности

Значимые аспекты поведения

Достижение Сотрудничество Влияние

Когнитивные

Свободное, открытое для

опыта, фантазирования и

других подсознательных про-

цессов размышление о том,

чего и как необходимо достичь

Предвидение возможных пре-

пятствий, стоящих на пути к

достижению цели, и продумы-

вание необходимых обходных

шагов

Анализ результатов собствен-

ных действий для лучшего пони-

мания характера ситуации, с

которой приходится иметь дело

Осознание конфликтности соб-

ственных ценностных ориента-

ций и попытки ее разрешения

Предвидение последствий:

Индивидуальное, например: «Я

знаю, что могут быть трудности,

но мой прошлый опыт подска-

зывает, что я смогу их обойти»;

Основанное на личностных

нормах, например: «Чтобы

сделать это, мне придется

больше хитрить и манипулиро-

вать, чем хотелось бы»;

Основанное на социальных

нормах, например: «Мои дру-

зья одобрят такое поведение»

или «Человеку в моем положе-

нии не пристало это делать»

Аффективные

Эмоциональная настройка на

задачу:

Установка на продуктивное ис-

пользование положительных и

отрицательных эмоций; превра-

щение чувства напряженности,

возникающего при столкновении

с поставленной задачей, в сти-

мул для ее максимально быстро-

го решения, а не повод для отка-

за делать это

Педагогическое тестирование

Таблица 6

(продолжение)

Предвосхищение восторга от

успехов и огорчения от неудач

Волевые

Приложение дополнительных

усилий для уменьшения веро-

ятности неудачи

Мобилизация энергии,

настойчивости и воли

Проявление настойчивости на

протяжении длительного вре-

мени, чередование работы и

отдыха

Навыки и опыт

Основанная на опыте уверен-

ность, что можно пуститься в

неизведанное и преодолеть

трудности. (Она включает и

знание, что ты можешь это

сделать, плюс комплекс соот-

ветствующих навыков.)

Набор привычных, но гибко

адаптируемых способов пове-

дения, запускаемых соответст-

вующими стимулами, которые

могут не осознаваться ни са-

мим человеком, ни окружаю-

щими

Переживание чувства удовле-

творенности, связанного с ус-

пешным выполнением анало-

гичных задач в прошлом

Важность расчленения этих ценностных и поведенческих ком-

понентов в процессе оценивания можно подчеркнуть следующим

примером. Индивид, высоко ценящий успех в футболе, может про-

являть в этой области большую инициативу, воспринимать обрат-

ную связь со стороны окружения, прибегать к помощи других для

улучшения своих результатов, следить за своим стилем и последо-

вательно улучшать его, искать новые технические приемы, улав-

ливать подсказки, позволяющие совершенствовать мастерство, за-

мечать одобрение или неодобрение со стороны партнеров,

проявлять волю и продолжать заниматься футболом, несмотря на

трудности, желать и уметь убедить тех, от кого это зависит, предо-

ставить команде поле для игры. Однако если способность этого

же самого человека в осуществлении такой комплексной когни-

тивной, аффективной, волевой и социальной деятельности будет

оцениваться в сфере математики - области, которую для примера

Джон РАВЕН

будем считать незначимой для данного индивида, - оценивающий

может ошибочно заключить, что этот человек неспособен (а не

просто не имеет мотивов) к тем аспектам деятельности, которые

были названы выше. Учителя, психологи и менеджеры слишком

часто делают именно такие ошибочные выводы.

Необходимо отметить также, что хотя эта модель выглядит

как схема, помогающая понять и оценить мотивацию человека

(то есть типы личностно значимого для него поведения и его

способность эффективно достигать поставленных целей), на деле

она является собственно моделью компетентности.

Описательные характеристики и профили

В принципе модель, представленная в таблице 6, может быть

использована для выявления типов поведения, которые люди ценят,

а также компонентов компетентности, которые они склонны прояв-

лять в этом поведении. В отношении любого конкретного человека

оценивающий мог бы (после соответствующих наблюдений) поме-

тить клеточки, соответствующие субъективно значимым для чело-

века типам поведения. Просуммировав пометки по любой колонке,

оценивающий может получить индекс вероятности того, что аттес-

туемый будет в состоянии эффективно осуществлять поведение

определенного типа. Просуммировав пометки по соседним колон-

кам в пределах данного типа поведения, можно получить показа-

тель вероятности того, что аттестуемый сможет достичь результа-

та, успешно взаимодействовать с партнерами и (или) эффективно

руководить. Это позволяет построить профиль, сопоставимый с тем,

который опубликовал McClelland и который он трактует (в данном

контексте неверно) как профиль мотивации.

Важно, однако, заметить, что поскольку наша модель нужда-

ется в существенном расширении, процедура добросовестного

и полного заполнения всех ее ячеек может оказаться чересчур

громоздкой. Ниже будет показано, как избежать этой трудности.

Гетерогенные показатели либо внутренне

согласованные факторные оценки?

Дело не только в том, что оценка компетентности должна обя-

зательно учитывать ценностные ориентации, главное, что выде-

ленные компоненты компетентности не могут быть содержатель-

Педагогическое тестирование

но проанализированы и описаны в терминах факторов или ли-

нейных параметров. Результаты, получаемые суммированием по

любой из колонок таблицы 6, явно принадлежат к разным, а не

одному измерению. Действительно, чем более независимы и ге-

терогенны составляющие компетентности, тем лучше, при усло-

вии, конечно, что каждая имеет отношение к достижению цели.

Здесь любой читатель, привыкший к доминирующей психомет-

рической парадигме внутренне согласованных факторных изме-

рений, подумает: «Такие результаты не значимы!» Поэтому здесь

важно подчеркнуть: из справедливого утверждения сторонников

факторного анализа о том, что гетерогенность заданий теста ука-

зывает на неодномерность получаемых результатов, вовсе не

следует вывод о незначимости результатов. Ведь никто не гово-

рит, что коэффициенты множественной регрессии бессмыслен-

ны просто потому, что они получены путем суммирования по

большому числу независимых переменных.

Суммарные индексы или детальные

описательные характеристики?

На практике описание личностно значимых для человека ти-

пов поведения и компетентностей, проявляемых им в процессе

соответствующей деятельности, дает гораздо больше полезной

информации, чем некая общая глобальная оценка. Такое описа-

ние радикально отличается от профиля балльных оценок, полу-

чаемого на основе серии независимых факторных измерений.

За факторным профилем стоит допущение, что поведение может

быть наиболее адекватно описано и понято в терминах относи-

тельных показателей испытуемых по небольшому числу измере-

ний. Допущение же, лежащее в основе нашей модели компетен-

тного поведения, состоит в том, что поведение может быть лучше

всего понято путем выявления ценностей человека, его нрав-

ственных обязательств, его представлений и ожиданий, а также

тех компонентов компетентности, которые он склонен спонтан-

но проявлять, стремясь к значимым для себя целям.

Модели «атомарные» или «факторные»?

Разница между факторными профилями и описательными ха-

рактеристиками может быть проиллюстрирована примерами

Джон РАВЕН

из физики и химии. Физики показали, что поведение снаряда луч-

ше всего описывается уравнением вида:

S = V

·t + l/2·a·t

(расстояние, пройденное за время t, равно произведению началь-

ной скорости на время движения плюс половина ускорения, ум-

ноженная на квадрат времени).

Такой же логике следуют и модели представителей фактор-

ного подхода. Например, может оказаться, что демонстрируемый

уровень лидерства является функцией количества баллов, полу-

ченных человеком по ряду независимых факторов, таких, как

экстраверсия и интеллект.

В отличие от физиков, химики находят более подходящим для

своей работы совершенно иной тип уравнений. Они утвержда-

ют, что вещества и среда, в которой они находятся, лучше всего

описываются перечислением элементов, из которых они состо-

ят, и соотношением этих элементов. Описание строится на осно-

ве большого набора элементов, известного всем химикам. От-

сутствующие в данной реакции элементы упоминать нет

необходимости. Реакции вещества в конкретной среде описыва-

ются уравнениями, позволяющими представить их трансформа-

ции в виде однотипных комбинаций:

Сu + 2 H

= CuSО

+ 2Н

О + SO

(при взаимодействии меди с серной кислотой получается суль-

фат меди, вода и двуокись серы).

Мне представляется, что человеческие существа могут быть

описаны и поняты наилучшим образом, если принятая для этого

модель будет больше похожа на химическую, чем на физичес-

кую. Такая модель заставила бы нас фиксировать ценности лю-

дей и компетентности, которые они спонтанно и устойчиво

проявляют, вместе с соответствующими значимыми характерис-

тиками их окружения. При этом она не была бы ограничена не-

большим набором переменных, что типично для факторно-ана-

литических моделей

Теперь попробуем немного детализировать нашу химическую

аналогию. Следуя этой модели, мы обнаружим, что создаем обоб-

щенное описание индивида и окружения, в котором он живет и ра-