Равен Дж. Педагогическое тестирование: Проблемы, заблуждения, перспективы

Подождите немного. Документ загружается.

Педагогическое тестирование

людьми только на практике в процессе осуществления интерес-

ной или важной для них деятельности. К тому же отсутствует

соответствующий инструментарий, то есть оценочные процеду-

ры, способные помочь учителю в определении индивидуальных

интересов, приоритетов и компетентностей его учеников, помочь

ему в планировании индивидуального плана развития для каж-

дого ученика и в контроле за возможными последствиями таких

педагогических воздействий. Без таких средств большинство учи-

телей не сможет эффективно руководить сразу значительным

числом (около 30 для обычного школьного класса) индивидуа-

лизированных обучающих программ, ориентированных на раз-

витие компетентности.

Другая важная причина пренебрежения этими целями состо-

ит в том, что отсутствует механизм поощрения этих качеств у уче-

ников при их школьной аттестации и при поступлении выпуск-

ников школы на работу. А поскольку репутация учителя зависит

от успехов его учеников, то учителя не получают признания за

развитие у своих учеников этих качеств. Для многих учителей

это составляет вполне осознанную дилемму, они говорят, что

ухудшили бы жизненные перспективы своих учеников, если бы

уделяли больше времени формированию этих качеств в ущерб

академическим занятиям; тем самым они уменьшили бы шансы

учеников получить высокие баллы по тестам достижений. Роди-

тели тоже часто вполне отдают себе отчет в существовании этой

проблемы

236

Чтобы двинуться дальше, кратко резюмируем сказанное: со-

держание и формы обучения в школе не отвечают пожеланиям

ни родителей, а также учителей, инспектората, Министерства об-

разования, ни чьим бы то ни было еще. Они диктуются нашими

представлениями о процессах развития, доступными учителям

средствами обучения и, что особенно важно, теми критериями,

по которым проводится оценка при сертификации и приеме на

работу и которые, таким образом, определяют возможности даль-

нейшей учебы и карьеры.

Очень важно понять все последствия установленных нами

фактов: во-первых, школы не достигают главных целей образо-

вания, во-вторых, содержание их деятельности определяется в ос-

новном критериями оценки при сертификации и приеме на рабо-

ту. Эти факты говорят о том, что основной функцией школы

является не образование как таковое, а, по выражению Jencks

2.37

Джон РАВЕН

«легитимизация табели привилегий». Другими словами, не сер-

тификация определяет происходящее в школе, но то, чему она

служит, а именно: распределение социальных положений и ста-

тусов.

Поскольку этот вывод является столь же неприятным, сколь

и неожиданным, важно привести дополнительные свидетельства

в его подтверждение. На протяжении пятнадцати лет множество

комитетов и комиссий в Англии пыталось разработать предло-

жения по реформированию школьных экзаменов. Эти комитеты

так и не пришли ни к каким согласованным рекомендациям. За-

тем Министерство образования создало новый комитет и пору-

чило ему подготовить рекомендации в течение шести месяцев.

В итоговом документе этого комитета

2.38

огромный интерес пред-

ставляет прежде всего то, что можно прочесть «между строк».

Проанализировав этот документ, я назвал бы его «обвинитель-

ным приговором нашему обществу». Прежде всего в нем отме-

чается, что система образования дает массу примеров того, что

молодые люди обладают разнообразными способностями и что

школа может помочь их развитию. Затем авторы описывают ка-

чества, которые необходимы людям для работы и жизни в обще-

стве. И снова подчеркивается, что необходимы разные способ-

ности и разные специализации. Далее указывается, что если

школы должны способствовать развитию имеющихся разнооб-

разных способностей, так нужных обществу, то необходимо, что-

бы они имели широкий набор учебных предметов, разных по

своей направленности, содержанию и организации учебного про-

цесса. Затем отмечается, что для того, чтобы проверить резуль-

таты всех этих учебных планов, придется создать большое чис-

ло экзаменующих структур (отделов, учреждений), обладающих

широким набором программ, тестов разного уровня и других спо-

собов оценки. Различные способы оценивания позволят связать

результаты с разными целями обучения, а также позволят обна-

ружить и зафиксировать развитие широкого спектра способнос-

тей. Ни больше, ни меньше. Все очень логично, понятно и раци-

онально. Но затем комитет делает нечто потрясающее и, на

первый взгляд, необъяснимое. В одном из предложений подыто-

живающего абзаца утверждается, что «результаты (всего этого

разнообразия учебных планов, программ, способов и уровней

оценки) будут оцениваться в баллах на основе единой семибал-

льной шкалы в каждой предметной области». Эта рекомендация

Педагогическое тестирование

фактически отрицает все, что было сказано до этого. Что могло

привести комитет к такому решению? Единственное предполо-

жение, которое я могу сделать, состоит в том, что здесь работа-

ют какие-то скрытые социально-психологические механизмы.

Похоже, что есть социальный запрос на ясный и неоспоримый

критерий, узаконивающий расслоение людей по признаку их со-

циального и профессионального положения, и этот запрос так

силен, что перевешивает все рациональные и объективные доводы

педагогического и профессионального плана.

Хотя рассмотренный выше документ свидетельствует, что со-

циальные силы через процедуры оценивания учащихся застав-

ляют учителей действовать вопреки их собственным приорите-

там, большинство проинтервьюированных нами учителей

отказалось признать обязательное использование оценки как спо-

соба контроля обучения. Основная их часть желает совсем отка-

заться от оценок: 84% учителей считают, что работодатели и вузы

должны иметь свои особые процедуры отбора и предоставить

школам заниматься собственно образованием

". С социологи-

ческой точки зрения это звучит наивно. Наши наблюдения и весь

предыдущий опыт в целом показывают, что учителя все равно

будут «натаскивать» в решении тестов и стремиться к достиже-

нию тех целей, по которым дается оценка, независимо от того,

кто это оценивание проводит.

Есть веские причины сопротивления учителей этим соци-

альным силам. Многие люди становятся учителями, потому что

хотят помочь детям взрослеть, потому что им нравится общаться

с ними и потому что они хотят делать для общества что-то сто-

ящее. Мысль о том, что их главная задача сводится, к ранжирова-

нию жизненных возможностей учеников, звучит для них кощун-

ственно. Но если бы они все же признали эту горькую правду,

они смогли бы (при помощи исследователей и других лиц) найти

способ противостояния этим социальным механизмам и изме-

нить их в желательном для всех направлении вместо того, чтобы

уклоняться от этой цели. В результате мы бы совершили нечто

аналогичное тому, что сделал Уатт, заставив страшный, опасный,

горячий и бесполезный пар работать на пользу человеку. Мое

предложение состоит в том, чтобы ввести в процедуры школь-

ной аттестации и отбора при приеме на работу измерение тех

самых качеств, развитию которых, но мнению большинства лю-

дей, и должна служить система образования. Мы получили бы

Джон РАВЕН

тогда в сфере образования «паровой двигатель», по-прежнему

использующий энергию социальных сил, но уже под контролем

педагогов

2.40

Предложение, чтобы деятельность педагогов и учащихся стро-

илась на основе оценки таких важных качеств, как инициатива

или готовность к сотрудничеству, ставит, конечно, серьезные про-

блемы, которые необходимо ясно сформулировать и тщательно

продумать. Ниже мы это сделаем. Но прежде полезно напомнить

читателю, что это не было единственной причиной, вынуждаю-

щей искать способы оценки упомянутых качеств. Без адекват-

ных средств их оценки большинство учителей считает слишком

трудным делом

2.41

использование обучающих программ, направ-

ленных на раскрытие разных способностей, да и сами они в су-

ществующей системе оценки педагогического труда не могут

получить признание за поиск наилучших способов ответа на ре-

альные запросы учеников.

2. Принятая система тестирования ограничивает

содержание и круг проблем, рассматриваемых при выработке

политики в сфере образования

В предыдущем разделе было показано, что узость спектра из-

меряемых качеств в процессе школьной аттестации и при при-

еме выпускников на работу может оказывать серьезное деструк-

тивное влияние на обучение в школе. В этом разделе будут

рассмотрены ограничения, которые нынешняя измерительная па-

радигма накладывает на наши представления об образовании и на

круг вопросов, обсуждаемых при формировании политики в сфе-

ре образования.

Напомним, что в первой главе доказывалось, что так называ-

емое «оценивание» результатов учебного процесса может при-

вести к ошибочным и даже безнравственным по своему содер-

жанию выводам (в смысле возможного урона для личности и для

общества в целом), если только оно не будет опираться на более

широкий набор измеряемых качеств. Далее утверждалось, что

намерение Объединенного комитета использовать в сфере обра-

зования только надежные и валидные тесты представляет собой

ловушку, поскольку пока еще не созданы надежные и валидные

средства для измерения большинства важнейших положительных

и отрицательных результатов педагогического процесса. Было

высказано убеждение, что невозможно разработать такие сред-

Педагогическое тестирование

ства без радикальных изменений самой измерительной парадиг-

мы, потому что наиболее важные результаты образования состо-

ят в развитии инициативы, формировании представлений о том,

как функционируют различные социальные институты и органи-

зации, а также развитии компетентностей, необходимых челове-

ку для успешного достижения его целей. В этом контексте ут-

верждалось, что учет такого рода результатов показал бы, что

хотя действующие сегодня программы обучения и способствуют

повышению оценок учащихся по традиционным тестам, но од-

новременно они наносят и серьезный ущерб, что неоднократно

подчеркивали такие авторы, как Goodman, Reimer и Illich

2.42

Применение тестов, сконструированных в соответствии с тра-

диционным критерием, согласно которому «хороший» тест дол-

жен давать «нормальное» (то есть гауссово) распределение, имеет

еще и побочный результат. Он состоит в том, что такие тесты

крайне неэффективны для оценки качества системы образова-

ния в целом или какой-либо ее части (подсистемы) с точки зре-

ния достижения стоящих перед ней важных целей. Невозможно

ведь получить нормальное распределение по всей популяции,

если на практике лишь немногие учителя содействуют развитию

названных способностей. По этой причине у нас слишком мало

материалов, показывающих что школы стремятся содействовать

развитию таких качеств, как инициатива или готовность сотруд-

ничать с другими людьми.

В результате лишь единицы из имеющихся в настоящее вре-

мя тестов могут быть использованы для того, чтобы показать,

способствует или нет данная система обучения или данный кон-

кретный учитель появлению большого числа учеников с разно-

образными типами одаренности. Чтобы сделать это, необходимо

отказаться от нынешних представлений о различиях между уча-

щимися и использовать тесты, способные продемонстрировать,

в чем данный конкретный ученик особенно силен, а вовсе не то,

силен ли он в решении задач, отобранных учителем или внешним

экспертом без учета его способностей.

Но это не единственная причина, по которой использование

тестов, предполагающих «нормальное» распределение результа-

тов, ведет к недооценке важнейших проблем образования. При-

нятие этих тестов в качестве адекватных методов измерения ре-

зультатов обучения побуждает исследователей к использованию

многофакторных схем анализа. При таком подходе за аксиому

Джон РАВЕН

принимается допущение, что прилагаемые педагогические уси-

лия, равно как и результаты обучения, могут существенно разли-

чаться количественно. Однако можно со значительной долей ве-

роятности предположить, что лишь очень немногие учителя

попытаются создать в классе оптимальную развивающую среду,

остальные же этого делать не станут. Следовательно, можно бу-

дет ожидать желательных (или нежелательных) результатов в од-

них классах и их отсутствие в других. Рассуждения об образова-

нии в рамках неких «факторов» педагогического воздействия

(которые предположительно монотонно связаны с «факторами»

педагогических результатов), не затрагивающие самой сути пе-

дагогических процессов и их возможных последствий, вряд ли

приведут исследователя к обоснованным выводам о том, какие

аспекты процесса обучения важны, а какие нет. Между тем

именно это, как правило, и хотят знать чиновники, заказываю-

щие и финансирующие исследования. Следование статистичес-

кому (строго научному) стандартному многофакторному иссле-

довательскому плану, похоже, освобождает специалиста,

оценивающего процесс обучения, от обязанности ясно форму-

лировать предполагаемую им цепочку причинно-следственных

связей между воздействием, например, финансовой поддержки

образования и результатами, к которым, это финансирование дол-

жно привести, таким, например, как улучшение показателей уча-

щихся по тестам. По этой причине чисто оценочные исследова-

ния редко сообщают о том, как можно улучшить педагогический

процесс. Еще менее они способны показать, как перейти от того,

что есть, к тому, что должно бы быть, имея в виду, что тот на-

бор деятельностей, который способен привести к желаемому ре-

зультату, чрезвычайно маловероятен в этом мире: я имею в виду

мир, каким он предстает на основе многофакторного описания.

Сказанное, однако, не означает ни того, что различные компо-

ненты эффективных программ обучения нельзя исследовать

в принципе, ни того, что нельзя создать более эффективные про-

граммы обучения.

Необходимо сказать еще об одном важном последствии, к ко-

торому ведет неспособность общепринятых процедур оценива-

ния выявлять существенные характеристики педагогического

процесса (что связано с чрезмерным увлечением «переменны-

ми») и особенности учрежденческого и социального контекста,

в котором этот процесс происходит. Исследователи часто прохо-

Педагогическое тестирование

дят мимо факта, что провал конкретного нововведения, направ-

ленного на достижение желаемого результата, происходит не

столько из-за недостаточности избранных средств и методов,

сколько из-за недостаточного внимания к тому влиянию, кото-

рое они оказывают на другие аспекты системы. Например, до-

вольно часто приходится иметь дело с проектами по усовершен-

ствованию учебных программ, в которых группы учителей

обучаются неким «новым методам». Затем эти учителя возвра-

щаются работать в свои школы. При этом не предпринимается

никаких шагов, чтобы другие педагоги, родители и учащиеся по-

няли смысл и новизну этого проекта. Необходимые пособия

и оборудование чаще всего отсутствуют, не делается ничего, что-

бы помочь учителям с максимальной отдачей осуществить эти

нововведения. Ученики проводят немало времени с другими учи-

телями, которые в лучшем случае не обращают внимания на но-

вации своего коллеги и не поддерживают его усилий, а часто со-

знательно изменяют свою работу с детьми так, чтобы подорвать

веру в эти «новомодные» проекты. Веря в то, что они действуют

в интересах учащихся, эти учителя могут, например, увеличить

нагрузку по своему предмету, чтобы компенсировать «вред», на-

носимый «новатором». Совершенно невозможно довести до кон-

ца такие проекты, которые могли бы обновить содержание обу-

чения и одновременно сами способы оценивания, изменив тем

самым мнение педагогов об учениках. Поэтому другие учителя,

родители, да и сами учащиеся, опасаясь сокращения у «подопыт-

ных кроликов» шансов на успех в реальной жизни, наращивают

усилия на достижение традиционных (академических) целей.

Не отдавая себе отчета во всем этом, эксперты, оценивающие эф-

фективность нововведений, принимают во внимание только ре-

зультаты тестов и вносят очередной проект в длинный список

«неуспешных попыток реформирования учебного плана».

На самом же деле никому не интересны результаты нововве-

дений, если они были плохо организованы, если они не были

обеспечены соответствующей поддержкой. Такие результаты

будут иметь слишком небольшое значение как для отдельного

ученика, так и для общества, и будут лишь косвенно связаны

с целями нововведения. Гораздо важнее узнать о положитель-

ном или отрицательном влиянии педагогического нововведения

в долгосрочной перспективе (вроде экономического и социаль-

ного развития общества), если оно будет внедряться должным

Джон РАВЕН

образом и в обстановке поддержки. Не менее важно также

понять, какие изменения - собственно педагогические и вне-

шние, ситуационные - необходимы для получения желательных

и предотвращения нежелательных результатов

2.43

Излишняя фокусировка исследователей, оценивающих содер-

жание и методы обучения, только на узком спектре результатов

(а именно на тех, которые проверяются «надежными и валидны-

ми» тестами) часто мешает им глубоко изучить существо проис-

ходящих процессов. Возникает это еще и потому, что игнориру-

ются те формы педагогической деятельности, которые не

оказывают существенного влияния на контролируемые результа-

ты. Это особенно часто бывает в тех случаях, когда сам процесс

обучения рассматривается как нечто неосязаемое и не поддающе-

еся измерению. К примерам такого рода относится большинство

программ и методов обучения, разработанных для обеспечения

личностного роста учащихся (и часто достигающих поставленной

цели). Как подчеркивает Jackson

2.44

, это справедливо для большин-

ства образовательных программ, направленных на духовное или

нравственное развитие, а также на выявление и развитие скрытых

до поры способностей и одаренностей. Jackson, Havighurst

и Taba

2.45

, McClelland

2.46

, Dolphin и Raven

2.47

отмечают, что такие

изменения личности, как правило, происходят в результате взаи-

модействия с людьми, которые преуспевают в том, в чем сам ис-

пытуемый хотел бы добиться успеха, или с людьми, на которых он

хотел бы быть похожим. (Такие ролевые модели могут быть пред-

ставлены как на примере конкретных людей, так и с помощью раз-

личных рассказов или притч.) Эти изменения также могут возни-

кать в результате стрессовых или экстремальных ситуаций

2.48

Некоторые из тех, кого мы интервьюировали в ходе одного из упо-

минавшихся выше исследований, отмечали, что такого рода изме-

нения были вызваны у них встречей с профессионалом более вы-

сокого класса, чем они сами, в то время, когда они были заняты

очень важной для них деятельностью. Или же источником таких

изменений может быть эмоциональный опыт, связанный с пере-

живанием восторга и изумления, охватывающих, например, при

проникновении в суть устройства сложных организмов или сим-

биотических взаимосвязей. Сюда можно еще, наверное, добавить

«духовное», или трансцендентное измерение, которое, как наста-

ивает Foshay

2.49

, должно составлять неотъемлемую часть всех ис-

следований, ориентированных на учебные предметы.

Педагогическое тестирование 49

Ряд других процессов, которые игнорируются исследования-

ми в рамках факторно-аналитического подхода, связан с есте-

ственным стремлением человека активно выбирать и конструи-

ровать среду, в которой он живет и работает.

Многие исследователи заявляют, что такие процессы не под-

даются научному изучению. Это привело некоторых из них к зак-

лючению, что и деятельность в сфере образования, и ее оценка

являются искусством, в котором науке (по крайней мере позити-

визму) делать особо нечего. Обе эти позиции свидетельствуют

о глубоко неверном понимании существа науки

2.50

. Вся история

науки - это отчет о процессе превращения неявного в видимое:

Ампер использовал магнитную стрелку, чтобы сделать видимым

электричество; пузырьковые камеры используются, чтобы сде-

лать видимым путь нейтронов.

Принятие «надежных и валидных» тестов как единственной

правомерной основы для научной оценки в образовании порож-

дено таким представлением о науке, которое недостаточно ори-

ентировано на развитие новых концепций, новых способов мыш-

ления, новых путей формализации интуитивного знания. В свою

очередь ошибочное представление о науке порождает нежела-

ние властей финансировать (независимо от величины расходов)

работу, направленную на углубленное понимание содержания

и методов обучения и воспитания. Это нежелание распространя-

ется и на поиск путей оценки влияния скрытых от нас пока фак-

торов, оказывающих существенное воздействие на процессы обу-

чения, а также на поиск способов измерения его результатов.

Подводя итоги этого раздела, необходимо подчеркнуть, что

применение традиционных тестов, считающихся отличными ин-

струментами по таким критериям, как различительная способ-

ность, внутренняя согласованность, надежность и валидность,

привело к принятию неадекватных схем проверки и оценивания,

к дезориентирующим нас исследовательским выводам, к соци-

ально и нравственно несправедливым решениям в области обра-

зовательной политики и практики, к распространению неверных

взглядов на исследовательский процесс и науку в целом. Похо-

же, вместо того, чтобы судить о совершенстве этих тестов по

названным критериям, нам надо оценить их по тому, помогают

ли они людям обнаруживать и развивать свои таланты, получать

их признание; способствуют ли возникновению новых взглядов

на проблемы образования; помогают ли понять преимущества

Джон РАВЕН

и недостатки конкретных программ обучения; помогают ли по-

нять, что работает, а что нет - и почему; как улучшить педагоги-

ческий процесс; и, наконец, как помочь учителю выявлять спо-

собности и таланты каждого из его учеников, как содействовать

их развитию и признанию.

3. Существующая система оценивания не распознает талантов

учеников, тормозя тем их развитие, сужая их возможности,

а также лишая общество отдачи от их потенциальных

достижений

Факторно-аналитические исследования, ведущиеся психоло-

гами с начала века, усилили тенденцию учителей рассуждать

и анализировать в терминах «общей способности», а не много-

образия «способностей» (множества талантов). По общему мне-

нию, имеющиеся тесты в целом позволяют различить «способ-

ных» и «менее способных» учеников. Недовольство же тем, что

существующие тесты не только не позволяют распознать способ-

ности учеников, но и активно подавляют их развитие, не слиш-

ком распространено. Здесь я хочу показать, что для такого недо-

вольства есть существенные основания.

В ходе нашего исследования

2.51

мы обнаружили не так много

учителей, которые были в состоянии помочь своим ученикам об-

наружить и развить важные Для них способности. Работу этих

учителей отличало то, что они продолжали настойчиво искать

способности учеников, даже если те подозрительно долго не

справлялись с заданиями, которые другим давалось без усилий.

Они искали и находили поддержку своим усилиям у самих уче-

ников. Но, чтобы сделать этот процесс эффективным, им прихо-

дилось формировать у своих учеников - у каждого в отдельнос-

ти и у группы в целом - соответствующие представления,

необходимые для анализа самых разных способностей, а также

создавать развивающую образовательную среду, в которой эти

способности могли бы обнаруживаться, развиваться и проявлять-

ся на пользу всей группе.

В первой главе было приведено несколько примеров способ-

ностей и компетентностей, которые удалось обнаружить и под-

держать таким энтузиастам: способность убеждать других лю-

дей, острая наблюдательность в отношении биофизических

процессов, людей или общественных явлений, способность вы-

носить разумные суждения, способность снижать напряженность