Равен Дж. Педагогическое тестирование: Проблемы, заблуждения, перспективы

Подождите немного. Документ загружается.

ПРОБЛЕМА ВАЛИДНОСТИ

Валидность различных вариантов методики ценностных ожи-

даний подтверждена рядом исследований. Сделано это, однако,

не путем расчета общепринятых коэффициентов корреляции,

а путем установления множественных взаимосвязей между из-

меряемым, его причинами и последствиями, то есть способом,

в пользу которого недавно высказался Messick

6.1

Первым исследованием, в котором описанная здесь теоретичес-

кая модель применялась достаточно полно, была экспертиза про-

граммы посещения семей с целью обучения матерей

6.2

. Эта програм-

ма была направлена на то, чтобы «подчеркнуть уникальную

и незаменимую роль матерей в развитии и обучении своих детей».

Педагоги, работавшие по этой программе (все они прошли специ-

альную подготовку), посещали семьи, имеющие двух-трехлетних де-

тей, проводя в каждой семье 1 час в неделю в течение 9 месяцев.

Занимаясь с детьми в присутствии матерей, они демонстрировали

им способы эффективного материнского поведения с целью побу-

дить и самих матерей действовать подобным же образом. Экспер-

тиза программы показала, что педагоги оказали огромное влияние

на представления и ожидания матерей, но чрезвычайно слабое - на

их реальное поведение. Единственное существенное изменение в их

поведении - это то, что значительно возросла готовность матери

передавать ребенка под опеку профессиональных воспитателей.

Такой результат, конечно, прямо противоположен цели данной про-

граммы. Мы сумели показать, что это произошло потому, что не

изменились ни базовые ценности матерей, ни ограничения со сто-

роны ближайшего окружения, хотя матери и убедились в важности

и эффективности, например, беседы с детьми и стали понимать, что

на их интеллектуальное развитие можно влиять в гораздо большей

степени, чем они себе это представляли раньше. Что касается огра-

ничений со стороны окружения, то матерям, например, по-прежнему

102

Джон РАВЕН

не хватало времени на то, что они и раньше полагали необходимым

делать, а теперь они еще и на деле убедились, как это важно - еще

важнее, чем им казалось. Что касается их ценностей, то они по-

прежнему предпочитали, чтобы их дети были от них полностью

зависимы, и не желали усиления их независимости. Таким обра-

зом, несмотря на их возросшую убежденность, что продемонстриро-

ванные педагогами программы, образцы поведения дают важные

результаты, ограничения со стороны условий жизни и сохранивши-

еся ценностные конфликты все-таки удерживали их от следования

этому примеру. Они разрешали эту дилемму, передавая детей в руки

профессионалов, компетентность которых вызывала у них глубо-

кое уважение. Кончилось тем, что они чувствовали себя еще более

виноватыми, чем раньше, поскольку узнали, что не делали того, что

должны были делать.

Оказалось, что для повышения эффективности программы не-

обходимо, чтобы ее педагоги постарались повлиять на ценности

матерей. Матерям нужна была помощь в развитии компетентнос-

тей, необходимых для обретения большего контроля над своей соб-

ственной жизнью и в особенности для влияния на общественные

предрассудки. Именно это должно было стать главной целью про-

екта. Результаты, естественно, поставили серьезные проблемы пе-

ред педагогами программы. Но нас в этом примере сейчас, конеч-

но, больше интересует применение нашей методики, чем существо

дела. Важно, что методика оказалась чувствительной к действитель-

ному влиянию программы обучения, позволила выявить, что в ней

работает, а что нет, позволила понять неявные последствия педаго-

гического воздействия и определить необходимые коррекционные

действия (часто непредсказуемые).

В другом проекте

6.3

мы использовали эту методику для изучения

влияния разных типов обучающих программ на учеников начальной

школы. Мы обнаружили, что вопреки распространенным представ-

лениям учителя сильно различались в их влиянии на интересы и за-

боты учеников, на их приоритеты в учебе и жизни, на их поведение

и комплексы компетентностей. Так, некоторые учителя вели учени-

ков к пониманию необходимости выбирать социально значимые за-

дачи и для их решения привлекать к сотрудничеству других людей.

Ученики пробовали решать такие задачи и добиваться содействия

товарищей. Они действительно обучались это делать, что проявля-

лось при проверке ожидаемых ими последствий деятельности: их про-

гнозы были очень точными. Они понимали, как работают местная

Педагогическое тестирование 103

демократия и бюрократия, как найти нужные точки приложения сил

и как на них повлиять. Они знали, чем сильны их одноклассники.

Дети из других классов не считали важным учиться делать все это

и справедливо ожидали катастрофических последствий в случае, если

бы они попытались осуществить что-нибудь подобное. Одним из са-

мых поразительных результатов нашего проекта стало открытие, что

вопреки распространенному убеждению то, что делали учителя, впол-

не отражало их приоритеты (даже если и не вполне соответствовало

им)

, а, в свою очередь, создаваемые педагогами образцы учебной

деятельности отражались в ценностях их учеников и приобретаемых

ими типах компетентности. Таким образом, методика и в этом слу-

чае позволила зафиксировать, чем озабочен учитель и каким типом

компетентности он обладает, она помогла разработать измерения, чув-

ствительные к реальным результатам обучающих программ, предла-

гавшихся учащимся. Эти измерения позволили выявить достоинства

и недостатки самих программ.

Цель проекта, описанного в книге «Компетентность в современ-

ном обществе»

6.5

, состояла в разработке комплекса экспертных про-

цедур, который можно было бы использовать для отбора на руково-

дящие должности и для развития персонала и организации в целом

(«Эдинбургские опросники»). Работа в некоторой степени неожидан-

но показала, что «британская болезнь» проистекает из отсутствия

интереса к таким видам деятельности, как поиск наилучшего спосо-

ба решения задачи; поиск направления для приложения собственных

сил; поиск лучших способов понимания явлений; решение задач, ко-

торые пусть не сразу, но принесут пользу всей организации или об-

ществу в целом; обеспечение эффективной совместной работы лю-

дей. К нашему удивлению, отрицательные последствия, которые

ожидались людьми, попытайся они сделать что-либо из названного

выше, были не настолько значительными, чтобы заставить их отка-

зываться от такого рода действий. Им просто в голову не приходило,

что это нужно делать. Методика снова сработала: она показала, что

проблема состоит вовсе не в том, что предполагали ранее. С тех пор

«Эдинбургские опросники» были использованы в Самоа, Тонге, Япо-

нии, Китае, Гонконге, Сингапуре, Филиппинах, Канаде и Соединен-

ных Штатах

6.6

. Немало людей реагировали на шотландские данные

словами: «Ну, конечно, а разве могло быть иначе?» В то же время

результаты кросс-культурных исследований показали со всей очевид-

ностью, что дела не только могли, но и действительно обстояли

совершенно иначе в отдельных странах (например, в Японии

104

и Сингапуре), что и привело к тем последствиям, которые нам всем

слишком хорошо известны.

Рассматривая эти результаты вместе с данными, полученными

по методике, которую разработали Taylor и Nelson

6.7

, мы обнаружи-

ваем тревожную картину: британцы и голландцы более других го-

товы поддерживать «новые» ценности (в числе их проблем - сохра-

нение ресурсов и энергии, вторичная переработка сырья,

определение качества жизни не только в экономических терминах,

развитие системы общественной помощи, гуманитарные проекты

и т.п.), но они ничего не хотят делать, чтобы реализовать эти задачи

на деле. При учете сказанного раньше неудивительно, что те, кто

исповедует «старые» ценности, способны внушить свою волю боль-

шинству, углубляя и без того значительное расслоение в обществе.

И снова именно использование описанной в этой книге методики

позволило нам не только понять, каким образом британцы и гол-

ландцы попали в нынешнюю экономическую ситуацию, но и отве-

тить на вопрос: что нужно сделать, чтобы создать такое общество,

которое они хотят? Методика позволила получить данные, застав-

ляющие как отдельных индивидов, так и группы людей увидеть свои

представления, отношения, приоритеты и ожидания в своеобраз-

ном зеркале и задаться вопросом: нравится ли им то, что они увиде-

ли, и в особенности то, что они ожидают в качестве последствий

сложившихся у них представлений, пониманий и предрассудков?

(Если им не понравится то, что они увидели, они могут совершить

следующий шаг и спросить себя: что же можно сделать?)

В целом результаты этих проектов показывают, что методика имеет

значительную валидность в том смысле, что позволяет нам понять

и спрогнозировать поведение, а также повлиять на него. Она уже по-

могла многим людям обрести больший контроль над своей жизнью

и лучше понять устройство и принципы деятельности того учрежде-

ния, где они работают. Убедительные доказательства валидности ме-

тодики ценностных ожиданий на примере ее более узкого варианта

и конкретного применения содержит работа Feather

6.8

Джон

РАВЕН

ЗАКЛЮЧЕНИЕ

Как организовать необходимые исследования

и разработки?

В этой книге было показано, что для эффективного руковод-

ства педагогическим процессом нужны новые формы оценива-

ния как на уровне школы, так и на уровне системы образова-

ния. Новые формы оценивания необходимы, чтобы поднять

доверие к результатам обучающих программ и побудить людей

к выявлению, развитию и использованию своих способностей

на работе и в общественной жизни, а общество - к признанию

этих способностей. Кроме того, новые формы оценивания не-

обходимы не только в исследовательских целях, но и для изуче-

ния социальных и экономических последствий (на индивиду-

альном, групповом и социальном уровнях) программ обучения,

направленных на поддержку разнообразных интересов, способ-

ностей и талантов.

Было также показано, что существует возможность переос-

мыслить природу одаренности и способы ее оценки и что даже

без дополнительных фундаментальных исследований можно

операционально описать альтернативный подход к ее измере-

нию, позволяющий получить действительно полезную инфор-

мацию. Более широкое внедрение подобных процедур при

оценке обучающих программ и разработка технологии их при-

менения, снижающей трудоемкость индивидуальной оценки,

будет стоить значительно меньше, чем применяемые в настоя-

щее время тестирование и экспертиза

7.1

. Наконец, было показа-

но, что хотя читатель и должен остерегаться нереалистических

ожиданий в отношении предлагаемого подхода, но по крайней

мере следует открыто признать ограниченность применяемых

106

Джон РАВЕН

в настоящее время тестов и вредные для людей и общества по-

следствия их использования.

Остается сказать кое-что о трудностях, с которыми мы столк-

нулись в процессе работы, и обсудить направления ее дальней-

шего развития.

На первый взгляд кажется поразительным, что огромные

средства, расходуемые в образовании на экспертизу программ

и на индивидуальное тестирование, так мало способствуют

улучшению дел. В общем и целом мы до сих пор продолжаем

работать с моделями способностей и оценивания, появивши-

мися почти век назад. Говоря об огромных суммах, которые

тратятся на это, я включаю сюда не только громадные федераль-

ные субсидии, выделяемые на экспериментальные программы

типа "Помощь на старте" и на выявление факторов (sic!), спо-

собствующих эффективной работе школ. Я имею в виду также:

а) текущие расходы на содержание бесчисленных бюро, распо-

ложенных практически в каждом регионе страны, которые изу-

чают состояние дел в школах и собирают отчеты; б) бюджеты

организаций, которые разрабатывают и продают тесты, отвеча-

ющие узкоспецифическим учебным запросам либо предназна-

ченные для оценки школьных способностей и достижений; в) ог-

ромное число школьных психологов и других работников,

занятых проведением подобного тестирования, обработкой и ин-

терпретацией тестовых результатов; г) время, затрачиваемое

учениками и учителями на измерение того, что на самом деле

не имеет отношения к выявлению реальных учебных проблем

и к разработке соответствующих способов их преодоления (при-

чем последнее практически отсутствует

7.2

); наконец, д) расхо-

ды на оценку персонала в армии.

На фоне подобного размаха тестовой и оценочной деятель-

ности представляется поистине замечательным тот факт, что

обобщенные в этой книге результаты получены всего полу-

дюжиной людей, таких, как David McClelland и Calvin Taylor,

каждый из которых (при отсутствии сколько-нибудь суще-

ственного финансирования) внес свой вклад в общую работу

только благодаря необыкновенной личной заинтересованно-

сти в этом исследовании и озабоченности общественными

проблемами.

Список организаций, от которых можно было бы ожидать,

что они выделят необходимые время и средства на соответству-

Педагогическое тестирование 107

ющие исследования и разработки, включает спонсоров иссле-

дований и экспертиз в области образования, тестовые агентства,

Военных, департаменты исследований и статистики, универси-

теты. Однако я полагаю, что здесь имеет смысл сосредоточить

внимание на причинах того, почему именно университеты - выс-

шие учебные заведения - не проявляют в этом отношении осо-

бого энтузиазма.

Отсутствие финансовой поддержки от официальных структур

не особенно удивляет. Общеизвестно, что от прямых потребите-

лей исследовательских результатов не следует ожидать финан-

сирования исследований по проблемам, которых они не замеча-

ют, или поиска путей достижения целей, о которых они никогда

не задумывались, а если и задумывались, то даже в самом общем

виде не представляют, как такие цели могли бы быть достигну-

ты. От департамента исследования и статистики также нельзя

ожидать, что он сам будет ставить подобные задачи. Классичес-

кая проблема организаторов состоит в том, что люди обычно

плохо осознают свои проблемы, пока кто-нибудь не принесет им

готового решения.

Что действительно удивляет, так это то, что исследователи,

повседневно имеющие дело с тестированием, экспертизой, про-

блемами образования, психометрической и научно-педагогичес-

кой литературой, также не видят необходимости в подобных ис-

следованиях и разработках и не пытаются сойти с накатанного

пути, чтобы их осуществить. Поражает, например, что в статьях,

представленных на конференцию «Создание новых тестов для

XXI века»

7.3

, нет ни единого указания на необходимость разра-

ботки более обоснованных методов экспертизы и новых подхо-

дов в этой области. В этом сборнике статей (как и в специальном

выпуске журнала «Прикладная психология», посвященном ком-

пьютерному психологическому тестированию) нет ни единого

упоминания об использовании компьютера для таких психомет-

рических исследований, которые в принципе не могли быть вы-

полнены в «ручном» варианте. Нет никакого упоминания о воп-

росах, которые я здесь обсуждал, ни в опубликованных

Объединенным комитетом «Стандартах экспертизы образователь-

Ных программ, проектов и материалов»

7.4

, ни в авторитетных

справочных руководствах по проблемам образования

7.5

Почему же аттестационные службы не стимулируют необ-

ходимых исследований и разработок? Они стремятся играть роль

108

Джон РАВЕН

классического предпринимателя. В соответствии с теорией ка-

питализма смысл их существования в том, чтобы выявлять преж-

де не опознанные потребности, найти способ их удовлетворе-

ния и организовать поступление соответствующего товара на

рынок. К несчастью, как показали McClelland

7.6

и другие авто-

ры

7.7

, классическая теория ошибается: необходимая для дости-

жения этих целей деятельность обычно рискованна и рассчита-

на на длительную перспективу, а первооткрыватели редко

пожинают лавры. (Мы, возможно, могли бы научиться у япон-

цев, как справляться с этой проблемой.) По-видимому, не ме-

нее важно и то, что современное общество нуждается во мно-

жестве разнообразных интеллектуальных товаров, так что новые

разработки вряд ли приведут к быстрому появлению ощутимых

в рыночном отношении результатов. Поэтому - и снова вопре-

ки теории - коммерческие структуры не спешат создавать но-

вые продукты, которые могли бы нанести урон уже сложивше-

муся рынку. На самом деле проблема, видимо, состоит в том,

что внимание людей, контролирующих средства, выделяемые

в этих организациях на развитие, не направлено на поиск ре-

альных потребностей и на возможность их удовлетворения.

Такое положение можно объяснить отсутствием в этих органи-

зациях «параллельных структур» типа тех, что описал Kanter

7.8

Требуется определенное время, чтобы заметить вновь открыв-

шиеся потребности, усомниться в принятых ранее базовых до-

пущениях и предпринять необходимые исследования. Однако

именно время, отводимое экспертным проектом на такого рода

деятельность, чаще всего и вычеркивается при подписании кон-

трактов. Свидетельство тому -контракты на экспертизу про-

граммы «Помощь на старте».

Эти соображения убеждают, что проблема может быть ре-

шена только в университетах. Однако им необходимо переос-

мыслить свои представления об организации научной работы

и об ответственности ученого, о необходимых ему компетент-

ностях и о качествах, которыми должны обладать будущие ис-

следователи. К провалу попытки углубить сложившиеся пред-

ставления и внедрить в практику уже сделанные открытия

приводит не недостаток собственно научных знаний (как счи-

тает, например, Lerner

7.9

, чьи работы посвящены общепринято-

му тестированию), а отсутствие научной компетентности в том

смысле, который я постарался раскрыть в первой главе этой

Педагогическое тестирование

109

книги. Нам необходимо пересмотреть характер подготовки, ко-

торую мы предлагаем будущим исследователям

7.10

. Будущие

ученые - да и все остальные студенты тоже - должны вовле-

каться в обучающие проектные программы по типу тех, кото-

рые были описаны в начале первой главы. О подобных програм-

мах пишут также Winter, McClelland и Stewart

7.11

. Необходимо

способствовать распространению более адекватного понимания

существа исследовательской деятельности, чтобы те, кто ее фи-

нансирует, освободились от неадекватных представлений о при-

роде науки и обрели готовность выделять средства именно на

пионерские направления, необходимые для углубления наших

представлений и разработки надежных аттестационных проце-

дур, которых нам так недостает.

Круг, таким образом, замкнулся: мы снова возвращаемся к об-

суждению существа профессиональной компетентности и той

роли, которую образовательные институты могут и должны иг-

рать в ее развитии, а также к вопросам социального устройства,

которое, благодаря усилиям этих институтов, считается прием-

лемым и к тому, какого рода людей приводят на влиятельные по-

зиции в обществе применяемые нами процедуры аттестации.

Пытаясь выяснить, что же мешает направить сколько-нибудь зна-

чительную часть средств, выделяемых на проведение тестиро-

вания, на организацию фундаментальных исследований в этой

области, мы вынуждены обсуждать вопрос, почему университе-

ты оказались неспособными выполнить необходимые исследо-

вания, пересмотреть ранее выдвинутые идеи и воспитать у сту-

дентов гибкость мышления, способность к обобщениям

и адекватные представления об исследовательской деятельнос-

ти и общественном устройстве.

Суть данной проблемы не просто в обычном для ученых от-

казе от исчерпавших себя теорий и устаревших способов изме-

рения, исследования или преподавания. Причины, по которым

университеты оказались не в состоянии сформировать у студен-

тов такие качества, как научная компетентность, гибкость мыш-

ления и готовность привлекать общественное внимание к акту-

альным направлениям научных исследований, включают и тот

очевидный теперь факт, что они просто не знают, как формиро-

вать эти качества. Кроме того, студенты не получают признания,

если такие качества у них есть, а профессора - если они содей-

ствуют их формированию.

110

Джон РАВЕН

Но есть и другие причины, которые мы также затронули на

страницах этой книги. Как подчеркивает Schon

7.12

, в универси-

тетах сложилась узкоспециализированная, «дисциплинарная»

организационная структура. Такая структура, отражающая уз-

кие научные интересы специалистов, способствует уменьшению

конкуренции как внутри университетов, так и между «профес-

сионалами», которых они «готовят». Однако в результате полу-

чается, что студенты вынуждены запоминать (на время) значи-

тельные объемы информации вместо того, чтобы развивать

базовые компетентности, необходимые для успешной деятель-

ности в рамках целого ряда дисциплин, а также наддисципли-

нарную профессиональную компетентность. Еще меньше по-

ощряется изучение студентами проблем общественного

устройства и их желание что-то сделать для решения выявлен-

ных ими проблем. Последствия этих недочетов проявляются

только тогда, когда выпускники начинают работать в органах

тестирования и экспертизы, в системе образования, в правитель-

ственных учреждениях

7.13

Сами университетские ученые испытывают огромные труд-

ности при смене области их научных интересов: как минимум,

им приходится считаться с общепринятым представлением о за-

кономерностях развития науки (гипотетико-дедуктивный метод),

чтобы придать научный лоск своим исследовательским програм-

мам, от которых зависят и их карьера, и престиж их подразделе-

ния. Именно этим общепринятым представлениям они должны

следовать в своих учебных курсах, чтобы их программы были

одобрены соответствующими профессиональными организаци-

ями (важнейшая социальная функция которых, казалось бы, со-

стоит в защите интересов потребителей этих программ). В уни-

верситетах не поощряются ни попытки переосмысления

сложившейся организации научной деятельности, ни предложе-

ния по более рациональному ее устройству, поскольку сама уни-

верситетская среда в силу своей особой социальной роли несет

на себе печать консерватизма.

Подойдя к этим выводам, мы еще раз хотим подчеркнуть,

что компетентность в современном обществе касается прежде

всего способности понимать социальные процессы и оказывать

на них влияние. Сказанное в этой главе, следовательно, как бы

проецируют все содержание книги на гигантский телевизион-

ный экран. К сожалению, хотя полученная картина огорчает нас