Равен Дж. Педагогическое тестирование: Проблемы, заблуждения, перспективы

Подождите немного. Документ загружается.

Педагогическое тестирование 91

Но только осознав значение ценностей при оценке компетентно-

сти, мы смогли понять, что эта проблема вообще не может быть

решена, если сначала не выяснить, в чем состоят ценности само-

го ученика. (При этом надо обязательно с уважением относиться

к этим ценностям, каковы бы они ни были.) Только затем мы на-

чали приходить к некоторому согласию по поводу значения та-

ких качеств, как «инициатива», всегда соотнося их со структу-

рой приоритетов конкретного ученика. Но даже после этого,

чтобы оценить чью-либо компетентность, пришлось бы разра-

ботать шкалы поведенческих описаний для всех видов компетен-

тностей, перечисленных в книге «Компетентность в современ-

ном обществе», для всех возможных целей поведения. Таким

образом, задача становится даже более трудоемкой, чем запол-

нение ячеек развернутого варианта матрицы из таблицы 6. Круг

замкнулся.

Событийно-поведенческие интервью

5.8

или их более продви-

нутые варианты, представляющие собой подборку персональных

отчетов о поведении в критических ситуациях либо протоколы

поведенческих событий, предполагают разделение ответствен-

ности за результаты оценивания между педагогами и учениками.

Учеников просят вспомнить и отметить для себя те отрезки их

жизни, когда дела у них шли особенно хорошо либо особенно

плохо; затем их просят сообщить о событиях, которыми они были

особенно довольны либо, напротив, особенно огорчены. Их про-

сят также рассказать о самом событии, о том, что привело к нему

и чем оно закончилось; чего они хотели или пытались достичь.

(В связи с этим приходится прилагать специальные усилия, что-

бы убедить учащихся, что важно рассказывать о всех, в том чис-

ле не всегда публично «одобряемых» целях, например, как по-

лучше провести время в теплой дружеской компании, поскольку

и на работе, и в обществе необходимы люди, ценящие подобные

занятия и умеющие хорошо это делать.) Их просят описать свои

мысли и чувства в процессе деятельности и рассказать, что де-

лали в это время другие люди и как они относились к тому, что

делал интервьюируемый.

Записи интервью (или письменные отчеты) затем анализиру-

ются педагогом или другим внешним экспертом по одному из

Джон РАВЕН

вариантов таблицы 6. Ценности и компетентности учеников или

подчиненных, проявляющиеся в процессе интересной для них

деятельности, становятся совершенно очевидны любому знако-

мому с изложенной выше концепцией. Исходный материал запи-

си интервью или отчеты сохраняются на случай, если испытуе-

мые захотят проверить итоговое заключение об их ценностях

и комплексе компетентностей. Если анализ материала интервью

проводится учеником и педагогом совместно и, по возможности,

с привлечением ровесников ученика, он дает богатейшую инфор-

мацию, способную повлиять и на его профессиональный выбор,

и на его дальнейшее развитие. Методика изящна и при условии,

что все участники готовы серьезно отнестись к проблеме лично-

стного роста, имеет высокий развивающий потенциал, стимули-

руя как педагогов, так и учащихся к размышлениям о человечес-

ких ресурсах, их развитии и использовании, что чрезвычайно

существенно для дальнейшего совершенствования как самой

системы образования, так и общества в целом.

Stansbury

5.9

, а также Burgess и Adams

5.10

независимо друг от

друга разработали разные варианты этой методики. Их работа

важна по двум причинам. С одной стороны, она показывает воз-

можность значительно более широкого применения этой мето-

дики в школах. С другой - она предупреждает потенциальных

пользователей о том немалом времени, которое придется затра-

тить, чтобы предложить ученикам руководство и содействие,

необходимые для эффективного, ориентированного на развитие

компетентности обучения, которое, в свою очередь, является обя-

зательным условием валидного оценивания разнообразных че-

ловеческих талантов.

Оценка компетентности посредством

методики ценностных ожиданий

Методика ценностных ожиданий дает возможность проник-

нуть в представления людей, оценить эти представления по трем

(переформулированным) измерениям модели Johnson (см. рису-

нок 1) и вычислить результирующий вектор. Эта методика по-

зволяет определить ценности людей, восприятие ими значимых

элементов окружения, их ожидания в отношении результатов сво-

их действий и ту степень важности, которую они придают каж-

дому из ожидаемых последствий. Принимаемые во внимание

Педагогическое тестирование 93

последствия включают те, что возникают по причине собствен-

ной компетентности (или некомпетентности) индивида, и те, что

возникают в ответ на реакции других людей на поведение инди-

вида. Если необходимо, то фиксируется и степень уверенности

индивида в своей способности справиться с ожидаемыми реак-

циями других людей. Методика позволяет оценивающему совме-

стить эти разрозненные фрагменты информации и рассчитать

результирующую вероятность эффективного выполнения инди-

видом различных задач в тех или иных ситуациях.

Ознакомление с теоретическими основами методики ценнос-

тных ожиданий лучше всего начать с работы Fishbein. В конце

60-х годов работа Fishbein

5.11

вызвала смену парадигмы в устояв-

шейся к тому времени области измерения «социальных устано-

вок». Он нашел простой и эффективный способ «измерить» то,

что всем и так всегда было известно, но игнорировалось в тео-

рии и в практике измерения «социальных установок» (и до сих

пор игнорируется при измерении личности и способностей).

Он доказал, что поведение (будь то покупка пирожных или при-

менение контрацептивов) в гораздо большей степени обусловле-

но разнообразными переживаниями и убеждениями, актуализи-

рующимися в конкретных обстоятельствах, чем некой единой

базисной социальной установкой или чертами личности

5.12

Работа Fishbein оказала фундаментальное влияние на наш под-

ход к анализу и учету этих явлений. Во-первых, автор сфокуси-

ровал внимание на том, что уже многократно подчеркивалось

в этой книге: оцениванию подлежит субъективная значимость,

или отношение респондента к его деятельности с определенным

предметом, а не ценность того предмета, с которым он опери-

рует. (Это значит, например, что необходимо выяснять отноше-

ние респондента к использованию контрацептивов, а не его от-

ношение к контрацептивам.) Во-вторых, Fishbein нашел способ

связать воедино три теоретических подхода к детерминации по-

ведения, хорошо проработанных и экспериментально обоснован-

ных в психологии и социологии.

Приверженцы первого из этих подходов полагают, что люди

склонны включаться в деятельность, если они в той или иной

степени уверены, что она значима для них и принесет им удов-

летворение. В рамках второй традиции считается, что человек

строит свое поведение, руководствуясь скорее образом собствен-

ного «Я», своим представлением о том, каким человеком он хочет

Джон РАВЕН

быть. Третья точка зрения состоит в том, что люди тем больше

готовы взяться за что-либо, чем более они уверены, что другие

люди ожидают от них именно этого, и чем более они зависимы

от благоприятного отношения этих людей.

Имеется немало эмпирических данных

5.13

в пользу каждого

из этих подходов. Прогностическая валидность измерений, ос-

нованных на любом из них, обычно имеет порядок 0,4. Важность

того, что сделал Fishbein, заключается в возможности более сис-

темно оценить каждый набор переменных и затем связать эти

три набора переменных друг с другом. Используемый способ

совмещения данных и определения относительного веса компо-

нентов также основан на значительном числе исследований.

В результате этих усовершенствований прогностическая валид-

ность повысилась до величин 0,8-0,9.

Прежде, чем двинуться дальше, следует обратить внимание

на параллели между моделью, которую предложил Fishbein, и той,

которая была разработана нами (на примере таблицы 6). Мы ут-

верждали, что способность индивида выполнять значимую для

него деятельность определяется многими факторами и зависит

от взаимодействия ряда относительно независимых, но взаимо-

заменяемых компетентностей, каждая из которых имеет когни-

тивную, аффективную и волевую составляющие. Утверждалось

также, что эффективное поведение зависит от наличия адекват-

ного образа «Я», от ощущения поддержки со стороны соответ-

ствующей референтной группы и от наличия подходящих усло-

вий для деятельности в рамках организации (то есть общих

представлений о приоритетах и способах деятельности, а также

взаимоотношениях в ходе ее выполнения).

В упрощенном изложении развиваемая Fishbein версия теории

ценностных ожиданий состоит в том, что людей спрашивают, что

они думают о возможных последствиях своего (гипотетического)

участия в той или иной деятельности, а затем определяют вес этих

последствий по их субъективной значимости. Систематически изу-

чаются три области возможных последствий. Их можно условно

обозначить как персональные последствия, последствия для обра-

за «Я» и реакции референтных групп.

К числу ожидаемых персональных последствий относятся

предположения типа: «Это потребует очень много времени, ко-

торое я предпочел бы посвятить другим занятиям» или «У меня

останется значительно меньше денег на другие расходы».

Педагогическое тестирование

Ожидаемые последствия для образа «Я» (или, точнее говоря,

для представлений о себе с точки зрения принятых норм поведе-

ния) включают суждения типа: «Ни один уважающий себя чело-

век не станет этого делать» и «Мой поступок послужил бы на

благо всего человечества».

Последствия, связанные с отношением референтных групп,

включают такие, например, предположения, как: «Моя бабушка

возражала бы, чтобы я это делал», «Мои коллеги поддержали бы

меня в этом» и «Бог наказал бы меня за это». Каждое из таких

ожидаемых последствий должно быть соотнесено с придаваемой

ему степенью важности (или с желанием считаться с ним). На-

пример, то, что думает моя бабушка, не особенно повлияет на

мое поведение, если меня не особо беспокоит ее мнение.

Таким образом, чтобы полностью реализовать эту модель на

практике, мы сначала должны выяснить, насколько велика уве-

ренность людей, которых мы хотим оценить, в том, что каждое

из ожидаемых ими последствий действительно наступит, а затем

установить, насколько каждое из этих последствий важно для них.

После этого мы перемножим показатели уверенности и вероят-

ности и сложим получившиеся произведения.

Используя методику ценностных ожиданий для определения

вероятности того, что люди проявят конкретные компетентнос-

ти в процессе выполнения личностно значимых для них задач,

мы сначала с помощью опросника «Качество жизни» (см. рису-

нок 2а) определяли те задачи, в отношении которых у них была

сформирована «осознанная внутренняя мотивация».

При заполнении этого опросника респондентов просят сна-

чала указать, насколько важны для них различные характерис-

тики окружения и насколько важным они считают возможность

вести себя на работе определенным образом. Затем их просят

указать, насколько они удовлетворены каждой из названных ха-

рактеристик среды и возможностью делать все то, что они на-

звали желательным. Полученные ответы затем анализируются

с целью найти такое действие или такую характеристику окру-

жения, которая была названа ими и как желательная, и как не

приносящая удовлетворения.

Затем используется специальный опросник, позволяющий вы-

явить ожидаемые ими последствия своих попыток предпринять

что-либо в отношении такого неудовлетворительного положения

дел. Что произойдет, если они попытаются убедить других людей

Джон РАВЕН

Рисунок 2а

Оценка компонентов компетентности

Пример из Эдинбургских опросников

(Обратите внимание: это только схематический пример, а не конкретный

результат исследования.)

Педагогическое тестирование 97

Рисунок 2б

Блок-схема оценки компонентов компетентности

(упрощенно)

Джон РАВЕН

что-нибудь с этим сделать? Что произойдет, если они попытают-

ся с этим что-нибудь сделать сами?

Изучаются те же аспекты последствий, какие выделял в сво-

ей модели Fishbein: конфликт с другими ценностями, влияние тех

или иных поступков на самооценку, ожидания в отношении ре-

акций референтных групп.

Всю процедуру можно проиллюстрировать следующим при-

мером. Предположим, нас интересуют последствия, которые, по

мнению учеников, наступят, если они попытаются убедить сво-

их одноклассников вести себя более ответственно. Сначала уча-

щихся спросили бы, как эти последствия отразились бы лично

на них? Они часто думают, что такая попытка причинит им не-

удобства и неприятности, оставит меньше времени на другие

значимые для них занятия и потребует способностей, которыми

они, возможно, не обладают. При отсутствии таких способнос-

тей любая попытка с их стороны убедить других людей вести

себя ответственно потребует значительных усилий, заставит дру-

гих считать их воображалами, обернется настоящей катастрофой.

Они выглядели бы в своих собственных глазах и в глазах других

полными дураками.

После того, как учеников спросили о возможных последстви-

ях воздействия на одноклассников, им задают вопрос: какого типа

люди могли бы это сделать и хотят ли они быть такими людьми?

Они нередко полагают, что человек, который попытался бы убе-

дить своих товарищей вести себя более ответственно, - это хан-

жа, самодовольный и брюзгливый, и, чтобы преуспеть в своем

намерении, он должен быть неискренним и манипулировать дру-

гими людьми. Им самим не хотелось бы быть такими.

Наконец, учеников спрашивают, как отреагируют на такое по-

ведение другие: поддержат ли их друзья или отвергнут; осудят

ли их учителя, посчитав их поведение эгоистичным, а не направ-

ленным на общее благо; не откажутся ли они, как Сократ, от ка-

рьерных притязаний, если проявят себя как люди, принимающие

всерьез моральные ценности?

Если теперь обобщить эти результаты, мы получим ясное пред-

ставление о степени нежелания учащихся предпринимать такого

рода действия (см. рисунок 2б).

Применив описанную здесь процедуру, мы получаем не толь-

ко количественный показатель (результирующий вектор Johnson),

но и весьма обширную информацию. В только что описанном

Педагогическое тестирование

примере мы смогли бы узнать у опрошенных учеников немало

важного для создания индивидуализированных программ, на-

правленных на развитие их компетентностей, - программ, помо-

гающих им разрешить ценностные конфликты и таким образом

высвободить энергию для решения более важных задач, для при-

менения и развития компетентностей, необходимых при дости-

жении личностно значимых целей. Можно было бы, например,

направить внимание ученика на вероятные последствия социаль-

но безответственного поведения в будущем. Можно было бы орга-

низовать его встречу с людьми, которые вели себя ответственно

и не пострадали за это и которых никто не заставлял отступать

от собственных убеждений. В результате знакомства с таким че-

ловеком ученик, возможно, узнал бы, как убедить других людей

в чем-то, не показавшись при этом несносным. Ученику можно

было бы помочь попрактиковаться в навыках, необходимых для

обретения поддержки других людей.

Показатели атмосферы в классе

Информация, полученная в результате описанной выше про-

цедуры, имеет значение не только для разработки индивидуаль-

ной программы развития конкретного ученика. Данные, получен-

ные от всех учеников, важны еще и потому, что помогают учителю

(или каким-либо внешним экспертам) оценить и качество исполь-

зуемой программы обучения в целом, и способность учителя мо-

билизовать умения, доброжелательность и увлеченность всех

учеников. На основе такой оценки возможно совершенствование

работы по этим направлениям.

Аттестация учебных заведений в сочетании с

заключениями экспертов

Все сказанное служит основанием для еще одного предложе-

ния, последнего из выдвигаемых в этой главе. Я уже указывал,

что наша методика может быть использована для фиксации ре-

зультатов различных педагогических программ и для выявления

их недостатков. Я также утверждал, что только такое оценива-

ние позволит нам обоснованно судить о качестве различных учеб-

ных курсов и программ. Вернемся на шаг назад. По-видимому,

будет не очень сложно определить наличие или отсутствие такой

100

Джон РАВЕН

школьной деятельности, которая позволяет выявить и развить

таланты каждого ученика

5.14

. Если обнаружится, что учителя со-

здают в ходе обучения развивающую среду, то можно будет зак-

лючить, что у них были возможности наблюдать у учеников

проявления компетентностей высокого уровня в процессе выпол-

нения личностно значимой для них деятельности. В этих обсто-

ятельствах высказываемые учителями суждения о ценностях или

областях компетентности их учеников можно будет считать го-

раздо более обоснованными

5.15