Равен Дж. Педагогическое тестирование: Проблемы, заблуждения, перспективы

Подождите немного. Документ загружается.

Педагогическое тестирование

ботает. Подобное описание могло бы принять такую форму (сим-

волы, которые использованы ниже, взяты только для примера и ни

в коем случае не означают, что мы уже разработали хотя бы пер-

воначальный вариант более или менее полной таблицы «челове-

ческих элементов»):

;А

ГП

;ПО

МД

;РП(З)

Данную характеристику можно интерпретировать следующим

образом: аттестуемый спонтанно проявляет четыре компонента

компетентности в стремлении к достижению поставленных це-

лей (Д) и три в стремлении к влиянию (В). Отмечены четыре

пункта из набора, относящегося к авторитарным (А) представ-

лениям об обществе, и только два из набора, относящегося к ак-

тивной гражданской позиции (ГП). Четыре аспекта окружения

(О) отмечены как поддерживающие (П) по отношению к целям

индивида (руководитель пытается поощрять стремление к дос-

тижению, но не делегирует ответственности, не стимулирует уча-

стия в жизни организации, не ставит развивающих задач для сво-

их подчиненных). Имеется мягкое давление (МД) со стороны

других людей в окружении индивида. Отмечены озабоченность

собственной эффективностью и эффективностью руководства.

Задача (3), поставленная перед индивидом, имеет незначитель-

ный развивающий потенциал (РП), это рутинная задача, которая

не позволяет испытуемому расширить спектр представлений

и ожиданий, необходимых для осуществления нововведений.

Если бы формулой удалось ухватить также движение, процесс,

то можно было бы заключить, что индивид, скорее всего, будет

испытывать чувство фрустрации, утратит мотивацию достиже-

ния и не проявит лидерских качеств.

Фактически, конечно, такая обобщающая характеристика мог-

ла бы быть гораздо более детальной и, соответственно, более по-

лезной. Можно было бы точно определить, какого типа достиже-

ния или влияния индивид считает важным продемонстрировать;

какие компетентности проявлялись и взаимодействовали в каж-

дом из этих типов поведения; можно было бы определить конк-

ретные представления и ожидания, которые помогали или меша-

ли аттестуемому проявлять то или иное поведение; можно было

бы больше сказать о ролях, приписываемых индивиду непосред-

ственным руководством, коллегами и подчиненными; больше

Джон РАВЕН

сказать о выполняемых заданиях и их возможных влияниях на

развитие и мотивацию аттестуемого в будущем.

Следующий шаг должен был бы состоять в расширении по-

добных индивидуальных характеристик путем включения в них

описаний конкретного окружения человека - полученные в ре-

зультате комплексные характеристики позволили бы нам описать

(или, вернее, смоделировать) процессы трансформации, проис-

ходящие в семьях, в школах и на рабочих местах.

Не менее важно, однако, что такие характеристики позволя-

ют отдать должное той ведущей роли, которую играет окружение,

актуализируя или отрицая ценности индивида, поддерживая (или

подавляя) начальные этапы формирования компетентностей вы-

сокого уровня, а также последующие этапы их развития и прояв-

ления.

И в теоретическом и в практическом плане важно отметить,

что переход от рядоположения индивидуальных характеристик

и описаний окружающей среды к встраиванию средовых описа-

ний в индивидуальные характеристики позволяет справиться

с проблемой, которую поставили Greeno

4.4

и его коллеги в резуль-

тате обнаружения ситуационных особенностей поведения. Они

наблюдали, как «одна и та же» психическая деятельность (на-

пример, решение задач) в разных контекстах приобретает раз-

ные формы. На основе этих наблюдений был сделан вывод о не-

возможности обобщить деятельность и контекст единым

понятием. Но из их данных вовсе не следует подобный вывод.

В этой главе было доказано, что проявляемые людьми компетен-

тности зависят от того, отвечает ли ситуация, в которой они на-

ходятся, их ценностям. Мы показали также, что одни и те же пси-

хологические качества могут выглядеть совершенно непохоже

в различных условиях в зависимости от сочетания средовых фак-

торов, ценностей и задействованных компетентностей. Соглас-

но нашей химической аналогии, элементы выглядят и ведут себя

абсолютно по-разному в соединении с другими элементами.

Медь, например, выглядит и ведет себя в сочетании с одним толь-

ко кислородом иначе, чем если в соединении участвует еще и се-

ра, то есть CuО

и выглядит и ведет себя иначе, чем CuSО

. Это

не значит, что медь меняет свою природу. Если аналогия спра-

ведлива, то нет никаких оснований считать, что «поведение в про-

цессе решения задач» будет иметь одни и те же внешние харак-

теристики независимо от имеющегося у исполнителя набора

Педагогическое тестирование 83

других компетентностей и от того, что люди выполняют различ-

ную по субъективной значимости деятельность в несходных об-

стоятельствах. Таким образом, например, «интуитивное пробное

взаимодействие с окружением», составляющее важный компо-

нент некоторых видов поведения при решении задач, может при-

нимать совершенно разные формы: одно дело, когда это выпол-

няется тем, кто хочет и умеет помочь другим; и совсем другое,

когда это поведение осуществляет кто-то, кто может и хочет вне-

сти оригинальный вклад в абстрактную научную теорию

4.5

Настаивая на том, что индивидуальные характеристики дол-

жны быть дополнены описаниями обстоятельств, в которых

проводилось наблюдение, и описаниями соответствующего пре-

дыдущего опыта индивидов, то есть предшествующих возмож-

ностей научиться чему-либо, мы сможем преодолеть серьезные

сомнения в вероятности «объективного» оценивания в психоло-

гии и педагогике, высказанные в последней главе. Мы выяснили

следующее:

1) ценности актуализируются, и, соответственно, компетент-

ности проявляются или подавляются в зависимости от обстоя-

тельств, в которых находятся люди;

2) люди только тогда обладают развитыми высокоуровневы-

ми компетентностями, когда их предшествующий опыт (то есть

обстоятельства, в которые им доводилось попадать прежде) от-

вечает их ценностям (или, говоря более конкретно, они могут

прекрасно научиться чему-то, что они в данный момент не могут

или не хотят делать, если окажутся в обстоятельствах, отвечаю-

щих их ценностям);

3) люди могут оказаться способными проявить высокоуров-

невые компетентности, которые они в данное время не проявля-

ют, столкнувшись со значимой задачей и полагая, что могут с ней

справиться. Поэтому мы считаем, что описание обстоятельств,

которые в прошлом вызывали у людей побудительную мотива-

цию, тех компетентностей, которые они в этих обстоятель-

ствах проявляли (и, вероятно, перенесут на выполнение любой

новой задачи, если она окажется для них личностно значимой),

а также того, отвечают ли нынешние обстоятельства (вклю-

чая ситуацию, в которой их наблюдают и оценивают) ценностям

этих людей, должно стать обязательной интегральной частью

любой содержательной процедуры оценивания их компетент-

ности.

Джон РАВЕН

Подытожим сказанное в этой главе. Сначала было отмечено,

что области компетентности людей могут быть определены пу-

тем заполнения ячеек двухмерной матрицы (см. таблицу 6), в ко-

торой по горизонтали расположены значимые типы поведения,

а по вертикали - компоненты компетентности. Затем мы указа-

ли, что внутренне гетерогенные итоговые оценки (аналогичные

коэффициентам множественной регрессии), которые получают-

ся при суммировании отметок по соседним колонкам матрицы,

теоретически идентичны «мотивационным» оценкам McClelland.

При этом было заявлено, что исходное (основанное на отметках

в ячейках матрицы) описание значимого для индивида поведе-

ния и компетентностей, проявляемых в процессе его осуществ-

ления, оказывается значительно более содержательным, чем сум-

марные оценки. Далее на основе приведенной здесь для примера

матрицы (учитывая, что она является лишь иллюстративным

фрагментом существенно более объемной, теоретически обосно-

ванной матрицы, заполнение которой по всем правилам делает

задачу весьма громоздкой) мы показали, что могли бы достичь

искомого результата, оформляя описательные характеристики

на языке, аналогичном языку химии. Это позволило бы фикси-

ровать, какое поведение является субъективно значимым для

людей и какие компетентности они проявляют в процессе этого

поведения. Эта процедура дает нам возможность описать важ-

ные, значимые (и только такие) характеристики среды, в кото-

рой люди в настоящее время живут и работают, а также те усло-

вия, в которых им довелось жить и работать прежде. Наконец,

мы показали, что такой подход позволяет, во-первых, создать

модель трансформационных процессов, которые, как оказалось,

не разработаны ни в возрастной психологии, ни в педагогике,

и, во-вторых, справиться с проблемами, которые ситуационная

обусловленность поведения ставит перед общепринятыми

(основанными на постоянных качествах) представлениями о «спо-

собностях».

И, наконец, еще одно соображение по поводу нашего иссле-

дования и по поводу вытекающего из сказанного сценария даль-

нейшей работы. Наиболее существенный и нетривиальный мо-

мент того, что мы сделали, состоит в составлении и заполнении

своеобразной «карты» областей компетентности, включающей

их мотивационную базу, когнитивные, аффективные и волевые

компоненты. На нынешнем уровне развития нашей науки это не

Педагогическое тестирование 85

было ни рутинной, ни конъюнктурной, ни сверхоригинальной

работой. Совсем наоборот, такую работу можно выполнить наи-

более эффективно только после того, как достигнуто более глу-

бокое понимание явления, которым мы занимаемся. Для этого

необходима не столько новая методология, сколько социальная

и научная атмосфера, в которой ученые могли бы посвятить зна-

чительную часть времени тому, что и составляет основной смысл

любого истинного исследования, а именно: развитию новых по-

нятий и представлений. Однако по мере углубления нашего по-

нимания областей компетентности и способа их описания зада-

ча оценивания людей будет становиться все более похожей -на

химический анализ, а не на «измерение» их роста линейкой или

температуры термометром, как это делают физики.

ПРОЦЕДУРЫ ОЦЕНКИ ОБЩЕЙ

КОМПЕТЕНТНОСТИ

Педагогическое оценивание выполняет множество функций.

Оно необходимо учителям для того, чтобы следить за результата-

ми своей деятельности. Необходимо оно и учащимся, чтобы знать,

насколько хорошо они справляются с учебой, и чтобы улучшать

свои результаты. Административным органам оно нужно, чтобы

иметь представление, насколько эффективно работают отдельные

учителя, школы, группы школ. Итоговое оценивание особенно

необходимо в точке соприкосновения школы и социума: ученики

должны получить признание компетентностей, которые они суме-

ли развить, и возможность использовать и совершенствовать их

в процессе своей профессиональной деятельности.

Захват всех этих областей традиционными тестами и ориен-

тация на принятые критерии оценки их «качества» не только при-

водит к использованию некорректных, ненадежных и неэффек-

тивных тестов; следствием этого является также провал попыток

разработать диагностические средства и рекомендации, более

адекватные задаче, которая включает оценку и усовершенство-

вание программ обучения, с одной стороны, а также диагности-

ку и коррекцию трудностей обучения (например, чтению) и со-

здание индивидуализированных программ, направленных на

развитие компетентностей в соответствии с интересами, ценно-

стями и одаренностью учеников, - с другой. Чтобы помочь сво-

им ученикам преодолеть трудности и чтобы организовать про-

цесс обучения, ориентированный на развитие компетентностей,

учителя должны обладать информацией о мотивах и потенциаль-

ных интересах каждого ученика, должны предлагать такие зада-

ния, которые создают у ученика мотивацию и основываются на

уже развитых у него компетентностях. Учителя должны направ-

лять учеников на решение проблем, с которыми они сталкивают-

Педагогическое тестирование 87

ся в процессе движения к поставленным целям, следить за их

реакциями в ходе такой работы и предпринимать при необходи-

мости корректирующие действия.

Кроме того, школьным администраторам и высшим органам

управления крайне необходимы средства, которые позволили бы

им оценить эффект структурных преобразований и исследова-

тельских программ в сфере образования: им нужны методичес-

кие инструменты, позволяющие фиксировать содержательные

особенности разных программ и специфику их влияния на уча-

щихся, прошедших обучение по этим программам. У них долж-

на также быть возможность определить, умеет ли конкретный

учитель выявить и развить хотя бы какие-то компоненты одарен-

ности каждого своего ученика. Чиновникам, работающим в об-

ласти образования, администраторам, учителям, учащимся и ра-

ботодателям требуется время от времени обновлять свой взгляд

на рынок человеческих ресурсов. Поэтому им (каждому в отдель-

ности и всем вместе) необходимо оценивать качество образова-

тельной среды и формируемых внутри нее навыков и умений,

а также возможный результат такого обучения. Для этих целей

и нужен набор своеобразных «зеркал», которые позволяли бы как

отдельным индивидам, так и группам людей критически рассмат-

ривать происходящее, чтобы при необходимости вовремя при-

нимать конструктивные решения.

В этой главе будет показано, что нам удалось сделать для ре-

шения некоторых из этих проблем, используя описанную ранее

модель компетентности. По ходу изложения будут представлены

и методы, которые мы использовали, чтобы сделать эту модель

операциональной. Однако, во избежание возможных разочаро-

ваний, важно, чтобы читатель имел реалистические ожидания.

Фактически вся работа, на результатах которой построена эта

глава, выполнена в свободное время и без всякого дополнитель-

ного финансирования, она представляла собой нечто вроде «при-

ватных вылазок» за границы ряда не связанных между собой

и разных по своим целям проектов, выполнявшихся по заказам,

имеющим чрезвычайно мало общего с темой этой книги. Полу-

чить заказ и, соответственно, финансирование на исследование,

прямо направленное на разработку обсуждаемых здесь вопро-

сов, оказалось невозможно: те, кто контролирует фонды и оце-

нивает заявки, целиком и полностью находятся в плену доми-

нирующей парадигмы, а те, кто заказывает исследования

Джон РАВЕН

и экспертизы, нацелены на получение быстрых результатов и про-

стых ответов. Чтобы ожидания читателя были адекватными, важ-

но также сказать, что именно из-за отсутствия постоянного фи-

нансирования и долговременных проектов не удавалось

сохранить и постоянный состав исследовательской группы. Люди

едва успевали освоить логику наших размышлений и начать ори-

ентироваться в имеющихся данных (в сочетании с приобретени-

ем собственного опыта и нелегких прозрений), как им приходи-

лось оставлять эту работу.

В этих обстоятельствах было достигнуто не так уж мало. Уда-

лось подтвердить, что изложенная выше измерительная модель

без труда может быть использована для оценки педагогических

программ. Она была применена нами при экспертизе Лотианс-

кой региональной программы домашнего обучения (которая, по-

добно программе Levenstein, представляла собой программу обу-

чения взрослых, разработанную, «чтобы показать уникальную

и незаменимую роль матери в создании благоприятных условий

для развития детей»

5.1

) и при экспертизе связей, установивших-

ся между начальной школой и учреждениями неформального об-

разования, такими, как, например, зоопарки и музеи

5.2

. В обоих

случаях эта модель позволила нам показать, что вопреки распро-

страненному мнению взрослые (родители и педагоги) оказыва-

ли чрезвычайно серьезное влияние (в лучшую или худшую сто-

рону) на ценностные ориентации как детей, так и взрослых,

а также на их компетентность, проявляющуюся в эффективном

осуществлении значимой для них деятельности. Модель удалось

также без особых трудностей применить к экспертизе того, что

может быть не вполне точно названо общенациональным и орга-

низационным климатом, а также к экспертизе комплексов ком-

петентностей, связанных с экономическими и социальными

подъемами или спадами

5.3

Более значительные трудности возникли при использовании

этой модели в целях индивидуального обследования. Однако

и в этом случае один из подходов (событийно-поведенческие ин-

тервью и отчеты) позволяет получить полезную информацию

весьма изящным и недорогим способом. Что же касается других

процедур (основанных на методике ценностных ожиданий), то,

как было продемонстрировано, они тоже имеют значительный

потенциал. Ниже будут показаны возможности использования

разных методических подходов: описательных характеристик

Педагогическое тестирование

(statements), событийно-поведенческих интервью (behavioral

event interview methods) и методик, основанных на теории цен-

ностных ожиданий (value-expectancy-instrumentality theory).

Описательные характеристики

Есть два существенных предварительных условия получения

значимых внешних оценок компетентности. Первое: оцениваю-

щие должны быть хорошо знакомы с концепцией, кратко изло-

женной выше и более полно развернутой в книге «Компетент-

ность в современном обществе» («Competence in Modern

Society»

5..4

). Второе: они по примеру хороших матерей

5.5

и руко-

водителей

5.6

должны отказаться от привычки уделять основное

внимание тому, что и как делают и говорят их дети или подчи-

ненные, а вместо этого создавать ситуации, в которых дети или

подчиненные смогли бы с энтузиазмом заниматься интересным

и важным для них делом, наращивая уверенность в себе и свою

компетентность. Если они займутся этим, то будь они учителя,

университетские преподаватели или менеджеры, при условии, что

они хорошие наблюдатели, им будет легко заполнить ячейки са-

мого развернутого варианта таблицы 6, фиксируя, какого рода

деятельность ценят их ученики или подчиненные и какие компе-

тентности они спонтанно проявляют при выполнении такой дея-

тельности. Альтернативным приемом является простое перечис-

ление по примеру химика (или доктора, выписывающего рецепт)

личностно значимых для испытуемого видов деятельности и при-

меров поведения вместе с соответствующими им видами компе-

тентностей. В качестве ориентира могут быть использованы спис-

ки ценностей и компонентов компетентности, приведенные

в книге «Компетентность в современном обществе». Если при-

нять такой подход, то педагоги и менеджеры смогут успешно опи-

сывать обстоятельства, в которых их ученики или подчиненные

работали, например, атмосферу и организацию работы в классе

(в терминах мотивации, которую они поддерживают, и поведе-

ния, которое они стимулируют), по схемам, предложенным в кни-

гах «Образование, ценности и общество» и «Компетентность

в современном обществе».

Важно отметить, что в отличие от большинства применяемых

в настоящее время процедур внешней оценки людей, направлен-

ных на определение их рангового статуса, использование

Джон РАВЕН

предлагаемых здесь процедур приведет к получению ряда харак-

теристик, описывающих людей и то окружение, в котором про-

водится наблюдение.

Совершенно очевидно, что применение нового подхода по-

требует от учителей, преподавателей высшей школы или менед-

жеров предварительного глубокого усвоения изложенных выше

идей (задача не более сложная, чем та, что стоит перед любым

учащимся, мечтающим стать химиком), а затем посвятить нема-

лое время изучению интересов и одаренностей учеников или под-

чиненных, а также созданию ситуаций, в которых они прояви-

лись бы. (Если педагоги и менеджеры не сумели создать

адекватной для конкретного индивида развивающей среды или

не сумели провести наблюдения в такой среде, любые их утвер-

ждения о компетентностях высокого уровня или присвоенные

ими рейтинговые оценки не будут иметь значения.) Кроме того,

большинство рейтинговых систем вроде тех, что часто исполь-

зуются при оценке персонала, требует значительного времени,

из-за чего их применение во многих случаях невозможно. С дру-

гой стороны, знакомство с нашей концепцией (и ее повседнев-

ное применение) может оказать чрезвычайно существенную

помощь в развитии, освобождении и эффективном перераспре-

делении человеческих ресурсов. Поэтому важно, чтобы педаго-

ги и менеджеры развили у себя привычку к более внимательно-

му анализу способностей своих учеников и подчиненных и того,

как эти способности лучше всего могут быть развиты и исполь-

зованы. Подобную привычку нельзя сформировать, ставя перед

ними задачу непосредственной оценки такого рода качеств. Дру-

гое дело - поддержать их стремление к использованию результа-

тов личностно ориентированных экспертных процедур и описаний

организационного климата, предлагаемых ниже.

Поначалу мы применяли (и фактически защищали) поведен-

ческие рейтинговые шкалы

5.7

. По существу, эта процедура тре-

бует от экспертов согласия, какое именно поведение конкретно-

го испытуемого может считаться показателем, например, данного

уровня инициативы. Подход казался многообещающим. Однако

мы столкнулись с серьезными трудностями, попытавшись реа-

лизовать соответствующие процедуры. Из нашего предыдущего

опыта с очевидностью следовало, что поведение, которое один

учитель определит как инициативу, другой учитель может опре-

делить «как стремление ученика втереться в доверие к учителю».