Равен Дж. Педагогическое тестирование: Проблемы, заблуждения, перспективы

Подождите немного. Документ загружается.

Педагогическое тестирование 51

в группе. Гам же было показано, что гораздо важнее судить о раз-

личиях между учениками по тому, в чем каждый из них преуспе-

вает, чем по так называемому «уровню способностей»

2.52

Taylor с коллегами

2.53

пришли к тем же самым результатам, си-

стематизировав и описав их в терминах «тотемных столбов». Ра-

ботая в том же направлении, Smith

2.54

показал, что простой прием

- попросить учителей указать, в чем силен каждый из учеников,

каков его вклад в жизнь школы как сообщества и как школа соби-

рается (при помощи родителей) помочь ему развить индивидуаль-

ные способности в течение следующей четверти, - вызвал целую

революцию в школе, потому что эти процедуры привели педаго-

гов к открытию, что все ученики не только обладают какими-то

способностями, но что эти способности можно выявить и поддер-

жать. Burgess и Adams

2.55

разработали более общую систему, пред-

назначенную для похожих целей. В нашей работе

2.56

представлен

такой длинный список важных способностей, что невозможно даже

представить, чтобы какой-нибудь конкретный человек смог раз-

вить в себе больше нескольких из них, - следовательно, разные

люди должны обладать разными талантами.

В исследованиях, авторы которых изучали, что происходит

с людьми в начале их трудовой деятельности, также можно обна-

ружить свидетельства, что используемые школами тесты измеря-

ют лишь крохотную часть тех способностей, которые

школы могли бы выявлять, поддерживать и оценивать, и, соответ-

ственно, внимание педагогов сосредоточено лишь на этой их час-

ти. Bachman с коллегами

2.57

показали: 80% опрошенных ими мо-

лодых людей считают, что смогли выявить и развить свои

способности на работе (по сравнению с 13% в школе), притом опыт

работы привел к наиболее значительному личностному росту и ро-

сту их компетентности за все время жизни этих молодых людей.

Мы

2.58

обнаружили, что один из наиболее привлекательных аспек-

тов работы для молодых людей состоит в том, что она позволяет

им выполнять то, с чем они успешно справляются, а не только одина-

ковые для всех рутинные задания, обязательные в школе, в которых

они вряд ли могли проявить себя с хорошей стороны.

Вывод очевиден: человеческая одаренность чрезвычайно раз-

нообразна, и это разнообразие слабо связано с характером спо-

собностей, необходимых для успешной учебы в школе. Мы, та-

ким образом, совершаем несправедливость в отношении

большинства учащихся из-за своего неумения помочь им выявить

Джон РАВЕН

и развить свои способности. Как показал Flanagan

2.59

, цена этого -

в плане общественных потерь и личных страданий - огромна.

Имеющиеся в настоящее время тесты не только не поощряют ис-

пользование учителями обучающих программ, направленных на

развитие различных талантов, но отвращают их от этого, застав-

ляя натаскивать учеников на получение высоких баллов, способ-

ных обеспечить дальнейшее обучение в вузах или поступление на

хорошую работу. Если мы хотим решить эти проблемы, если мы

понимаем, что должны помочь школам и учителям достичь под-

линных целей образования, сделать так, чтобы школы содейство-

вали развитию талантов наших детей, если мы хотим дать призна-

ние этим талантам, нам нужна совершенно иная модель измерения

способностей.

4. Конструктная валидность: большинство тестов не в состоянии

измерить ни «академические», ни «интеллектуальные»

способности

Инспектора школ Ее Величества в Шотландии (чью работу

я уже упоминал выше

2.60

), Goodlad

2.61

, а также Raven и другие

2.62

показали, что большая часть школьного дня заполнена скучной,

неувлекательной, рутинной деятельностью, которая редко вклю-

чает анализ, оценивание, суждение, критическое мышление, стол-

кновение разных мнений, общение и редко ведет к новому пони-

манию исторических, литературных, научных или социальных

вопросов, не говоря уже о постановке и решении новых проблем.

Практически не наблюдается сколько-нибудь ощутимой поддер-

жки учащихся в развитии их индивидуальных способностей. Как

пишет Goodlad, «учителя не откликаются на инициативу учени-

ков, потому что ученики редко что-либо инициируют». У детей

очень мало возможностей поупражняться в таких навыках, как

размышление над теми или иными вопросами, планирование,

изобретательство, проверка результатов, лидерство, сотрудниче-

ство с другими или формирование собственных представлений

о функционировании общества и реальных попытках как-то по-

влиять на него. У детей недостаточно возможностей даже для

написания более или менее объемных текстов, не говоря уж о тек-

стах, которые бы перерабатывались и переписывались в течение

длительного времени для представления их другим в качестве

результата работы, важной для писавшего или для кого-то нуж-

дающегося в этой информации. Обучение языку во многих слу-

Педагогическое тестирование

чаях сводится к подчеркиванию слов в предложениях и заучива-

нию сформулированных учителем правил грамматики. Арифме-

тика в основном ограничивается механическим применением

правил без их понимания. Все эти операции, конечно, измеряют-

ся и поощряются используемыми в настоящее время тестами.

Те же учителя, чья успешная работа упоминалась выше (более

подробно она описана в книге «Открытая начальная школа»

отмечают другие навыки: способность применять контекст и план

для поиска необходимой информации, способность отбирать из

множества предметов те, что действительно необходимы для до-

стижения цели, способность привлекать прочитанное для раз-

мышления над проблемой, которую ученик пытается решить,

даже если оно прямо с ней не связано, способность использо-

вать намек, метафору, жестикуляцию для передачи сообщения -

ничего этого не выявляют традиционные тесты. Не выявляют они

и овладение стратегиями, необходимыми для правильного вы-

полнения арифметических действий, если вдруг забывается ре-

зультат механического заучивания (вроде 7 x 9 = 63), а он забы-

вается, в этом нет сомнения, и, как показывают исследования

2.64

забывается очень быстро, если не повторяется ежедневно.

И наоборот, как обнаружили инспектора Ее Величества

2.65

и Cockcroft

2.66

многие ученики оказываются не в состоянии при-

менить даже известное им действие умножения 7 х 9 = 63, чтобы

подсчитать в магазине, сколько будут стоить 7 предметов, если

цена каждого 9 центов. Таким образом, большинство имеющих-

ся тестов вовсе не измеряет способности к осуществлению ка-

кой-либо содержательной академической, интеллектуальной и да-

же практической деятельности, а следовательно, лишено

валидности. Они вовлекают учителей и учеников в такую дея-

тельность, которая не позволяет считать сами школы академи-

ческими или профессиональными институтами, а происходящую

в их стенах деятельность - интеллектуальной или практической.

Вывод о том, что в большинстве случаев тесты не валидны,

то есть не позволяют измерять ни академическую, ни интеллек-

туальную, ни практическую компетентность, подкрепляется

результатами анализа, показавшего, что эти тесты измеряют толь-

ко сиюминутное владение небольшими и произвольно отобран-

ными фрагментами информации низшего уровня, выхваченными

из обширной системы знаний, сложившейся в соответствующих

научных дисциплинах

2.67

. Показано, что 50% информации,

Джон РАВЕН

запоминаемой учащимися, забывается уже через год, до 80% -

через два года

2.68

. Элементарные знания, достаточные для успеш-

ного прохождения школьного тестирования, являются устарев-

шими уже на момент их усвоения. Они не накапливаются и даже

при прочном запоминании вряд ли понадобятся когда-нибудь в бу-

дущем. Когда людям требуется какое-то знание, им, как правило,

нужна специальная и современная информация, которая по боль-

шей части еще отсутствовала, когда они учились в школе. В од-

ном из наших исследований

2.69

50% участвовавших в интервью

представителей среднего класса сказали, что образование (то есть

экзаменационные результаты) помогло им получить работу, в то

время как лишь 13% из той же группы отметили, что оно помог-

ло им развить необходимые для этой работы способности. Отве-

ты респондентов из рабочей среды были, понятно, еще менее

позитивны. Их «образование» не позволило им даже получить

хорошую работу. За пределами заданий на чтение, письмо и счет

конструктная валидность имеющихся на сегодняшний день тес-

тов крайне низка. Нет никакого смысла в том, чтобы выдавать

сиюминутное знание небольшого числа устаревших научных

фактов за валидный показатель научного образования: такая под-

мена создает впечатление, что достигнутое знание в некотором

смысле составляет репрезентативную часть целой области науч-

ного знания. Еще в меньшей степени баллы по подобным тестам

могут считаться показателями способности научно мыслить, спо-

собности быть на современном уровне в конкретной специаль-

ной области, способности собрать информацию по интересующей

проблеме или способности провести наблюдения, помогающие

решить эту проблему. Фактически дела обстоят даже еще хуже,

потому что, как показали Taylor с коллегами

2.70

, существует по

меньшей мере 12 различных типов выдающихся ученых (не го-

воря уж об ученых вообще), обладающих разными интересами

и типами компетентности. Более того, ни один из них не отно-

сится к числу людей, получавших высокие баллы по традицион-

ным тестам достижений. Таким образом, совершенно неверно

считать используемые тесты средством оценки научных знаний,

еще меньше их можно считать средством оценки способностей

к научной деятельности.

Здесь уместно привлечь внимание читателя еще к одному след-

ствию из приведенных данных. Мы видели, что профессиона-

лизм предполагает наличие компетентностей высокого уровня,

Педагогическое тестирование

включая академические и научные компетентности. Мы также

видели, что любая академическая или интеллектуальная деятель-

ность, заслуживающая подобного названия, тоже требует таких

компетентностей. Таким образом, вопреки принятым представ-

лениям, нет ни разрыва, ни расхождения между целями общего

и профессионального образования. В обоих случаях достижение

цели требует качественного и высокопрофессионального обуче-

ния, которое явно отсутствует в школе. Противоречие же - и глу-

бокое - существует между истинными целями образования, по-

требностью личности в развитии и профессиональном росте,

с одной стороны, и социальной потребностью иметь ясное и нео-

споримое основание для узаконенного распределения привиле-

гий — с другой.

Именно это противоречие и привело упоминавшийся уже ко-

митет Министерства образования к столь странной рекоменда-

ции, согласно которой «результаты (всего этого разнообразия

учебных планов, программ, способов и уровней оценки) долж-

ны быть выражены в баллах на основе единой семибалльной

шкалы по каждому предмету». В свою очередь, данная рекомен-

дация вступает в явное противоречие с лавинообразным распро-

странением «профилированного» обучения»

2.71

, которое, как мно-

гие надеются (впрочем, напрасно), приведет к тому, что школы

смогут по достоинству оценить способности своих учеников.

Хотя уже немало было сказано для дискредитации всей сис-

темы тестирования в том виде, как она сейчас организована, я не

могу удержаться, чтобы не подсыпать еще соли на эту рану. Мно-

гие традиционные тесты достижений отличаются не только низ-

кой надежностью, но и слабой различительной способностью:

Spencer обнаружил, что 60% разброса оценок в классах, где все

дети учатся по единой программе, зависит от экзаменатора и толь-

ко 40% - от различий между учениками

2.72

. Абсолютная разница

в сырых баллах между тестовыми оценками классов ступеней

А и Д (классами высокого и низкого уровней) обычно не превы-

шает 8 пунктов. Большая часть этой незначительной разницы мо-

жет быть отнесена за счет различий в оформлении работы, а не

за счет различий в знании предмета. Wolf

2.73

удалось показать

следующее:

1) «достижения» при выполнении конкретных операций очень

сильно зависят от того, как задается вопрос или как подается зада-

ние (так, например, число учеников, способных выполнить простое

Джон РАВЕН

деление, существенно снижается, если вместо привычного

«112:7= ?» написать выражение «112/7 = ?», не говоря уже о пред-

ставлении задачи в форме реалистичной жизненной проблемы);

2) среди экзаменаторов и проверяющих часто нет согласия

даже в том, следует ли отнести данный ответ к верхней или ниж-

ней половине шкалы оценок, не говоря уже о более тонком ран-

жировании;

3) отдельные экзаменаторы в зависимости от ситуации нередко

выставляют разные баллы за одно и то же качество работы;

4) на экзаменах учащиеся нередко выполняют одно и то же

задание по-разному в зависимости от ситуации.

Из этого Wolf делает вывод, что оцениваемые конструкты не

дают оснований для сколько-нибудь обобщенных заключений и

что надежность, устанавливаемая повторным тестированием,

чрезвычайно низка, даже если тесты обладают высокой внутрен-

ней согласованностью. (При том, что индексы внутренней согла-

сованности тестов обычно представляются в качестве приемле-

мого показателя ретестовой надежности.) Следовательно, эти

тесты не только не измеряют никакой академической или интел-

лектуальной способности в собственном смысле этого слова, но

не обладают достаточной надежностью и конструктной валид-

ностью даже в качестве показателей различий между учениками

по наличному уровню их знаний или умений. Дальнейшее по-

всеместное использование этих тестов для оценивания учеников

ничем не оправдано. То же самое можно сказать и относительно

оценки образовательных институтов, учебных программ и самих

педагогов. Ошибочно полагать, что это обеспечивает потребите-

лям возможность выбора услуг в сфере образования и контроля

за их качеством и, в свою очередь, способствует улучшению этих

услуг. Такая оценка не может быть полезной и при отборе лиц,

подходящих для выполнения важных общественных функций.

5. Нынешняя практика оценивания не обладает прогностической

валидностью

Если конструктная валидность академических тестов иссле-

довалась нечасто, то этого нельзя сказать о прогностической ва-

лидности (обзор обширной литературы на эту тему сделан

Ingenkamp

2.74

). Хотя общие выводы, к которым пришел Ingenkamp,

также не слишком утешительны, для нас здесь важно, что сам

выбор подходящих критериев проверки валидности тестов дос-

Педагогическое тестирование

тижений остается проблематичным, и это самое мягкое, что мож-

но сказать по данному поводу.

Несмотря на то, что работодатели достаточно часто исполь-

зуют результаты тестов достижений для отбора персонала, про-

веденный супругами Hunter

2.75

анализ результатов около 90 ис-

следований показывает, что прогностическая валидность этих

тестов даже по отношению к успешности профессионального

обучения не превышает 0,2. Данный показатель не намного (хотя

и значимо) меньше прогностической валидности тестов интел-

лекта. Но этим, однако, проблема не исчерпывается, поскольку

Berg

2.76

в своей работе показал, что корреляция между школьны-

ми и более поздними «достижениями в обучении» - даже по од-

ному и тому же предмету - падает до нуля, если соответствую-

щие курсы изучаются не сразу после окончания школы и особенно

если изучаемые курсы оказываются действительно необходимы-

ми учащемуся для его работы.

Hunter и Hunter пытаются как-то смягчить вывод о неспособ-

ности тестов учебных достижений предсказать более 1% вариа-

тивности профессиональной успешности (на материале 425 ис-

следований). Они подчеркивают, что применяемые критерии

ненадежны и что в любом случае приходится учитывать слиш-

ком много дополнительных факторов. Чем же можно в таком слу-

чае оправдать использование этих тестов для целей профессио-

нального отбора? Именно поэтому Jencks

2.77

и назвал принятый

подход трюком, позволяющим узаконить распределение приви-

легий.

Taylor

2.78

, а также Bray, Campbell и Grant

2.79

обнаружили еще

один важный момент: в то время, как выводы исследователей в це-

лом подтверждают, что по достижениям в обучении можно пред-

сказать профессиональный успех, подлинное объяснение полу-

ченных результатов состоит в том, что работодатели, принимая

на работу выпускников школ и университетов, предоставляют

обладателям более высоких баллов возможность более быстрой

карьеры (и, соответственно, возможность более качественной

профессиональной подготовки), а также более высокие и лучше

оплачиваемые должности. Если сделать поправку на эти обстоя-

тельства, мнимая прогностическая валидность тестов достиже-

ний исчезает вовсе.

McClelland

2.80

, Berg

2.81

, Collins

2.82

, Dore

2.83

, Jencks

2.84

, Holland

и Richards

2.85

, Hoyt

2.86

, а также автор этой книги

2.87

на материале

Джон РАВЕН

большого числа исследований показали, что, несмотря на явную

связь между жизненным успехом и уровнем образования, баллы,

полученные при окончании любой ступени обучения, не облада-

ют прогностической валидностью. Bachman и его коллеги

2.88

про-

демонстрировали, что если учащиеся не обладают нужными

характеристиками, свидетельствующими о способности продол-

жать обучение, его фактическое продолжение не улучшает перс-

пектив их карьеры. Все вместе эти факты приводят к выводу, что

тестовые оценки не только не предсказывают жизненного успеха

в какой-нибудь социально значимой области, но что система об-

разования как таковая вносит очень незначительный вклад в фор-

мирование у людей определенных компетентностей

2,89

Но каким образом традиционные тесты все же могли бы да-

вать надежный прогноз профессионального успеха? Любая про-

фессиональная группа состоит из множества людей, выполняю-

щих совершенно разные функции. Как подчеркивает Berg

290

профессиональные группы следует рассматривать не как психо-

логический, а как социальный феномен. Одна из задач профес-

сионального сообщества состоит в контроле над межгрупповой

конкуренцией. Те сообщества, которые допустили бы дефицит

«квалифицированных» новых работников, потеряли бы престиж.

Berg показал, что требования при приеме на работу или в учеб-

ное заведение повышаются с увеличением числа соискателей,

имеющих высокие баллы, a Folger и Nam

2.91

уточнили, что это

происходит вне зависимости от изменений условий труда или ха-

рактера решаемых данной группой задач.

Было бы неправильно закончить обсуждение этого вопроса без

рассмотрения данных, которые вступают в кажущееся противоре-

чие с нашим выводом о низкой прогностической валидности тра-

диционных оценок академических достижений. Норе

2.92

считает,

что 60% изменений социального статуса (как в сторону повыше-

ния, так и понижения) в США и в Шотландии могут быть объяс-

нены (в статистическом смысле) на основе IQ. Если признать, что

тесты на IQ измеряют фактор, существенно влияющий на оценки

академических достижений, то как можно соотнести эти данные

с приведенными выше? Частично это связано с уже отмеченным

фактом, что уровень образования не имеет решающего значения.

Действительно, в нашей работе

2.93

показано, что дети, закончив-

шие свое формальное образование в разных возрастах, различа-

ются по многим характеристикам, выходящим за рамки IQ. Они

Педагогическое тестирование

различаются своими ценностями, компетентностями, которые они

имеют и которые хотели бы обрести; различны их взгляды и наме-

рения в жизни, их планы относительно работы и учебы, жизнен-

ные приоритеты. Различия между ценностями и показателями IQ

в разных социально-экономических группах вовсе не определя-

ются (как думают многие) преимущественно фактором происхож-

дения. Не являются они и результатом профессионального опыта,

как полагает Kohn

294

. Они формируются в результате еще плохо

изученного нами процесса социализации, ориентированного на

будущее. В процессе социализации молодые люди формируют

ценности и способы поведения, характерные для тех групп, в ко-

торые они позднее войдут. Как показал Kinsley

2.95

на примере сек-

суального поведения, это справедливо даже для представлений,

отношений и ценностей, которые подростки никогда не обсужда-

ли, а также поведения, которого они никогда не наблюдали и ни-

когда не смогут наблюдать. (Из этого следует, что надо иметь го-

раздо больше уважения к людям, компетентно делающим нечто

отличное оттого, что мы сами высоко ценим.) Другая часть объяс-

нения состоит в том, что, как мы видели, учебные оценки, несмот-

ря на их чрезвычайно низкую прогностическую валидность, явля-

ются единственным социально приемлемым средством контроля

за приобретением специальности. Норе посвящает целую главу

встающим в связи с этим непростым проблемам. Он отмечает, что

высокопоставленные государственные служащие нередко бывают

очень умны, но не имеют ни склонностей, ни качеств, требующихся

для того, чтобы действовать в общественных интересах изобрета-

тельно и творчески. Надо искать пути расширения принципов от-

бора, чтобы учесть дополнительные качества, которые кажутся нам

необходимыми. Мы могли бы не просто платить бешеные деньги

за систему образования, которая предоставляет нашим детям лишь

примитивную опеку и способы распределения привилегий, но

управлять этой системой, в то время как сегодня она заполняет

вакансии на основе неадекватных (в лучшем случае) и, что точ-

нее, социально деструктивных критериев.

6. Существующая система оценивания не позволяет подбирать

достойных кандидатов на социально значимые должности

В предыдущем разделе было высказано предположение, что

традиционные тесты достижений плохо отвечают своему назна-

чению - задаче профессионального отбора. При этом мы лишь

Джон РАВЕН

слегка коснулись высказанного Норе беспокойства, что на самом

деле мы отбираем на влиятельные позиции в обществе не тех

людей, каких следует, например, таких, кто слишком озабочен

собственным продвижением или тех, чье главное достоинство -

это бойкость речи. Норе не единственный, кто поднимает этот

вопрос

2.96

. В процессе нашей собственной работы

2.97

мы столк-

нулись с немалым числом менеджеров, которые, стремясь уско-

рить свою собственную карьеру, пытались продемонстрировать,

что они могут эффективно управлять подразделением в услови-

ях «снижения затрат». На деле они просто развалили работу в сво-

ем учреждении, снизив потенциал развития своих подразделе-

ний и своих подчиненных, не говоря уже о прямом ущербе образу

жизни и настроению людей. Tomlinson и Tenhouten

2.98

привели

примеры, как некоторые школьники, пользуясь существующей

системой и льстиво заискивая перед учителями, заранее готови-

ли и репетировали правильные ответы для экзамена. Интересно,

однако, что хотя многие дети считают, что и они «могли бы» или

«должны были бы» так поступать, чтобы «успевать», большин-

ство из них все же отказывается от такого поведения, считая его

безнравственным

2.99

. Наше исследование, проведенное среди

взрослых, показывает, что слишком многие из тех, кто так по-

ступает, занимают затем влиятельное положение в обществе. Как

говорит Норе, при отборе и приеме на работу нужно руковод-

ствоваться качествами, необходимыми для успешного и каче-

ственного выполнения работы. Повышение по службе не долж-

но быть наградой ни за хорошо выполненную работу в другой

области, ни, тем более, за персональные услуги кому-то находя-

щемуся у власти. Чтобы изменить существующий порядок ве-

щей, необходимо разработать комплекс методов оценивания, од-

нако их было бы трудно внедрить в практику не только потому,

что они сильно отличались бы от применяемых сегодня, но так-

же потому, что они представляли бы особую опасность для лю-

дей, ориентированных на личную власть и собственное продви-

жение

2.100

7. Существующие методы оценивания необъективны

Наконец, наиболее распространенное возражение против лю-

бых изменений в методах оценивания состоит в том, что предла-

гаемые альтернативы «субъективны». Однако и существующие

в настоящее время оценочные процедуры по существу не объек-