Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 241

геометрия — 15%

анализ данных, статистика,

вероятность — 12%

алгебра, функции — 20%

БИОЛОГИЯ

растения — 40%

животные — 32%

человек и его здоровье — 28%

ФИЗИКА

строение веществ — 9% механические явления —

40% свойства газов — 9% тепловые явления—17%

электричество и магнетизм — 21% световые явления

— 4% ХИМИЯ растворы — 20% соли — 40% горение—

40%

Не вдаваясь в дискуссию о целесообразности указан-

ных пропорций, отметим, что информация такого рода

необходима для построения системы тестов итогового

контроля как по всей образовательной области «матема-

тика и естествознание», так и по каждому входящему в

эту систему предмету. Это помогает разработчику в

определении оптимальной структуры теста, состоящего

из субтёстов по конкретным темам* Построив тесты

таким образом, мы смогли бы контролировать качество

знаний наших учеников средней школы в сопоставлении

с их сверстниками за рубежом (что и делалось в

исследовании 1990/91 учебного года).

Все ведущие специалисты по психолого-педагогичес-

кой диагностике, кроме К. Ингенкампа (опирающегося на

учебный план), Г. Витцлака (имеющего в виду уже го-

товую программу), в контексте своих определений содер-

жательной валидности указывают на необходимость тео-

ретических моделей измеряемых феноменов (либо уже

имеющихся, либо специально создаваемых для проверки

содержательной валидности теста).

Ч А С Т Ь В Т О Р А Я

В педагогике, как довольно консервативной научной

области, моделирование рассматривается неоднозначно

— или как объективная потребность совершенствования

методологии и технологии, или как мода. Отечест-

венные психологи (педагоги проблему валидности обхо-

дят стороной по незнанию) считают, что при создании

методик моделирование диагностируемых явлений

необходимо.

Классик педагогической психологии Д.Б. Эльконин в

1980 г. писал: «Мы предъявляем к диагностическим тес-

там, предназначенным для контроля за ходом развития и

коррекции, требования, чтобы они < или моделировали

учебную деятельность в целом, или являлись экспери-

ментальными и абстрактными моделями отдельных мо-

ментов той деятельности, которую осуществляет учение

на уроке» [172, с. 67]. Практически ту же позицию разде-

ляют и психодиагносты-практики. В.О. Овакимян

;

отме-

чает, что «моделирование является необходимым звеном

в системе методов и средств исследования обучения и

учебного процесса, хотя его успешное применение пред-

полагает использование всей совокупности методов ис-

следования» [105, с. 24].

Схематически систему основных терминов, характе-

ризующих содержательную валидность дидактического

теста, можно представить в виде треугольника, в основа-

нии которого лежит куррикулярная (программная) ва-

лидность .Другие стороны треугольника составляют

орга^ нически взаимосвязанные с программной

валидностью конструктная и концептуальная. В

сущность теста вписана психологическая валидность.

Отражением содержательной валидности (нередко — в

кривом зеркале) является очевидная валидность теста.

Рассмотрим, какие исследовательские процедуры не-

обходимо выполнить при содержательной валидизации

разработчикам дидактических тестов. Приводимые вджэ

описания и рекомендации являются не только результа-

242

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 243

том анализа имеющегося отечественного и зарубежного

опыта, но и итогом обобщения экспериментальной рабо-

ты автора. г

ПРОЦЕДУРЫ ВАЛИДИЗАЦИИ ТЕСТОВ ПО СОДЕРЖАНИЮ

Сфера распространения валидизации до

содержанию, по мнению А. Анастази, — это тесты

учебных достижений, особенно критериально-

ориентированные тесты по усвоению материала и

навыков, некоторые тесты для отбора и распределения

профессиональных кадров (особенно те, где

присутствует выборка выполняемых рабочих операций).

В личностных тестах (опросниках) и тестах способностей

этот вид валидизации обычно не применяется [7, с. 130].

Концептуальная (теоретическая) модель диагности-

руемого (учебного материала, деятельности) всегда

должна быть по возможности чётко и однозначно

описана в корректной терминологии (в операциональных

понятиях) и представлена в виде структурно-логической

схемы, таблицы и т.д. Именно в этом смысле при

содержательной валидизации дидактического теста

(состоящего, возможно, из ряда субтестов при рубежном

и итоговом контроле, а также при «входном» контроле

знаний) целесообразно употребление термина

концептуальная валидность, которая, на наш взгляд,

является специфическим проявлением теоретической

валидности.

Концептуальная валидность характеризует соответ-

ствие содержания, структуры и даже терминологии, ис-

пользуемой в тесте, теоретическим концепциям (идеям,

закономерностям, принципам, которые диагностируются

дидактическим тестом и должны быть в нём зеркально

отражены).

При определении содержательной валидности для

подготовки тестов контроля теоретических знаний А.

Анастази считает необходимым делать полную систе-

Ч А С Т Ь В Т О Р А Я

матизационную проверку основных учебников и учебных

программ, проводить консультации со специалистами.

На основе этого составляется спецификация теста в

виде таблицы, где указываются тема, задачи обучения и

относительное значение каждой темы и вопроса, и лишь

затем устанавливается целесообразное количество

заданий [7, с. 127].

Решая проблемы содержательной валидизации,

нужно предварительно по возможности объективно

оценить те программы, на которые ориентирован тест.

При этом надо помнить, что и официально

опубликованные, прошедшие научное рецензирование

учебные программы могут быть в каких-то аспектах

несовершенны, так как разрабатывались под

конкретную дидактическую и «предметную» концепцию

и вряд ли смогли отразить адекватно весь спектр

научных позиций по этой проблематике, ибо автор

всегда чему-то отдаёт предпочтение. Известный

болгарский дидакт И. Марев справедливо отмечает, что

в действующих сейчас учебных программах

абсолютизируется учебное содержание, сохраняется

ориентация на энциклопедизм (перегрузка памяти при

обучении) в ущерб стимулированию самостоятельного

мышления.

В программах указывается сумма предметных зна-

ний, но не определяется необходимый уровень их усвое-

ния; цели обучения не дифференцируются с точки

зрения важности учебного материала (основной,

информативный, доказывающий и т.д.).

Программы обычно не дают характеристики той дея-

тельности учеников, которая обязательна в процессе

обучения, не уделяют должного внимания деятельности

педагога. Поэтому возможности развивающего обучения

оказываются нераскрытыми. В этой же связи нет устано-

вившегося соотношение часов для усвоения нового и за-

крепления изученного, продолжается перегрузка уча-

щихся излишними заданиями [67, с. 164-175].

244

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 245

Нерешённость многих ключевых проблем дидактики

в практической педагогике во многом объясняет, почему

методология и особенно технология содержательной

валидизации дидактического теста недостаточно

разработана.

Просто не на что опираться при построении такой

технологии, поскольку на официальном уровне не

внедрены научно обоснованные стандарты образования.

Но они уже проходят массовую апробацию и доработку, и

к моменту их официального принятия возникнет

массовая потребность в измерителях — в том числе и в

таких проверенных вековой практикой, как

стандартизированные Дидактические тесты.

Опережающее ознакомление педагогов с технологи-

ческими аспектами конструирования и апробации дидак-

9-2976

тических тестов позволит ставить массовые педагогичес-

кие эксперименты по апробации отечественных измери-

телей качества образования.

Сбалансированность и внутренняя согласованность

заданий при оценке содержательной валидности

теста

Социолог B.C. Аванесов считает необходимым стро-

ить содержательную валидизацию на основе сравнения

программы методического исследования с содержанием

теста, тесно связывая это с операционализацией основ-

ных понятий. Многое определяется здесь умением авто-

ров теста подобрать адекватные тестовые выражения,

индикаторы. Неадекватность тестовых высказываний

(заданий теста) понятийным индикаторам вызывает

несбалансированность высказываний теста.

Главным методом анализа содержательной

валидности является экспертный. Содержательная

валидизация теста — довольно трудоемкий и

Ч А С Т Ь В Т О Р А Я

противоречивый процесс теоретической работы

создателя теста (или же эксперта, оценивающего тест и

дающего свои рекомендации по его перестройке,

«доводке»).

А.Г. Шмелёв отмечает, что, вводя в целях усиления

содержательной валидности в тест разные по составу

компоненты (пункты, еубшкалы), модели измеряемого

явления (особенно сложного по структуре), «мы

обязательно сокращаем внутреннюю согласованность,

одномоментную надёжность теста, но зато добиваемся

повышения валидности». На основе этого делается

вывод, что для расширения области применения теста

необходимо избегать излишнего повышения внутренней

согласованности. Она не должна быть самоцелью

создания теста [103, с. 76].

Эти рекомендации нам представляются верными

для интегративных тестов итогового контроля знаний,

захватывающих, в силу самой главной цели

тестирования, широкие области ориентации учащегося

(например, в естествознании). Но для монопредметных

тестов и тематических тестов текущего контроля (когда

очередь дойдёт до их стандартизации) внутренняя

согласованность очень важна, ибо отражает

системность знаний, их целостность, реализацию

педагогом внутрипредметных связей (отражённых в

сознании и умениях учащихся).

И сбалансированность высказываний теста В. Аване-

сова, и «внутренняя согласованность теста» (его зада-

ний) — это, по сути, очень близкие явления. Но первое

более характерно для социально-психологических

тестов, построенных в форме личностных опросников

или утверждений, согласие с которыми шкалируется и

затем, подсчитывая количество выполненных заданий,

можно определить место обследованного на шкале

оценки того или иного качества (по степени проявления

в сумме ответов позитивных и негативных, с точки

246

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 247

зрения разработчика, свойств этого качества в ответах

испытуемого).

Для дидактического тестирования такой подход при-

годен при построении выборочных вариантов ответа на

некоторые виды закрытых тестовых заданий — там, где

возможен спектр суждений разной степени полноты и

правильности. Термин «внутренняя согласованность»

более связан с функциональной грамотностью или

комплексными тестами достижений, поэтому более

пригоден для дидактической тестологии, особенно —

для тестов тематического и рубежного контроля, а

также для тестов, диагностирующих целостность и

отражение в сознании учащихся межпредметных связей

в какой-то области знаний, изучавшейся с позиций

различных учебных дисциплин.

Понятие «сбалансированность» более формально,

требует количественного равенства между

индикаторами и высказываниями (признаками,

подсказками) в закрытых вопросах.

Внутренняя согласованность содержит этот аспект

как одно из проявлений структурной иерархии элементов

модели объекта в структуре теста. Она демонстрирует

прочность внутрисистемных взаимосвязей заданий теста

(выполненных учащимися) в тесте как целостной методи-

ке. Её сопоставление с теоретической моделью учебного

предмета (диагностируемой образовательной области)

показывает, насколько они адекватны.

Показатели внутренней согласованности заданий

теста могут одновременно свидетельствовать и о том,

что получилось в результате обучения учащихся

(насколько учителю теоретическую модель предмета

удалось реализовать в знаниях и умениях учеников), и о

том, насколько вообще удачна эта модель.

Поскольку понятие «внутренняя согласованность»

имеет важное значение при содержательной

валидизации теста, целесообразно определить его.

Ч А С Т Ь В Т О Р А Я

Внутренняя согласованность заданий теста или

субтестов — существенная характеристика теста,

определяющая его гомогенность (однородность,

взаимосвязанную близость заданий). Слишком

высокая внутренняя согласованность двух заданий

показывает, что эти задания почти аналогичны и

тяготеют к дублированию друг друга; слишком

низкая (стремящаяся к нулю) означает, что задания

измеряют количественно разные признаки

внешнего критерия или какой-либо посторонний

для теста фактор.

Опасности для разработчика при содержательной

валидизации дидактического теста

При содержательной валидизации дидактических те-

стов целесообразно использовать большой эмпирический

опыт зарубежных тестологов.

Среди проблем, с которыми сталкиваются при

определении валидности по содержанию, А. Анастази

отмечает возможность перенасыщения теста теми

аспектами исследуемой области, по которым легче

составить объективные задания (для чего рекомендует

фиксировать содержание теста в спецификации именно

до, а не после его составления). При этом содержание

следует понимать достаточно широко, включая в него,

помимо знания фактического материала, такие

важнейшие цели обучения, как применение изученных

принципов и интерпретацию данных.

Не следует неоправданно обобщать выбранную тему

тестирования. При определении содержательной валид-

ности надо учитывать возможное влияние посторонних

факторов на применение теста: например, влияния спо-

собности понимать инструкцию или требуемой скорости

выполнения задач на тест измерения математических

или иных способностей [7, с. 127].

248

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 249

В педагогической диагностике главными средствами

содержательной валидизации являются учебные планы

(и связанные с ними программы). Разработчику или апро-

батору дидактического теста следует постоянно иметь в

виду базовые знания, умения и навыки, которые лежат в

контексте освоения диагностируемых учебных достиже-

ний или характеристик обучаемости, являются привыч-

ными условиями успешной работы ученика и иногда

именно поэтому не попадают в поле зрения

разработчика, так как воспринимаются как сами собой

разумеющиеся (не являясь порою таковыми для

учащихся, особенно — слабоуспевающих).

Опытные тестологи считают, что когда проводится

содержательная валидизация тестов с участием экспер-

тов, необходимо указывать их замечания и степень со-

гласованности этих замечаний, дату обращения к экспер-

там (так как программы меняются), а также число, ха-

рактер изученных программ и учебников, даты их изда-

ния.

При анализе тестов достижений на содержательную

валидность А. Анастази рассматривает, насколько от

класса к классу повышается суммарный показатель и

индивидуальное выполнение теста. При этом целесооб-

разно сохранять те задания, которые выполняются наи-

большим числом учеников.

Следует отметить, что замечание о сохранении

таких заданий не относится к тест-заданиям, которые

решили почти все ученики (от 90 до 100%), ибо в этом

случае оно слишком лёгкое. Чтобы убедиться в этом,

надо дополнительно свериться с выборкой — вошли ли в

число этих 90% обследованных учащиеся, которые, по

оценкам учител ей, считаются слабыми (хотя бы

основываясь на срезо-вых контрольных работах с

заданиями такой же сложности). В противном случае

можно отказаться от задания, которое решили 98%

сильных и 35% слабых. Это будет методологической

Ч А С Т Ь В Т О Р А Я

ошибкой — для слабых оно имеет хорошие

дифференцирующие свойства.

При содержательной валидизации дидактических те-

стов необходим также анализ типичных ошибок учеников

и применяемых ими методов работы. Такие данные на

Западе обычно включаются в дидактические и психо-

диагностические тесты, системы образования. При углуб-

лённой, этиологической диагностике тестирование

ведётся в индивидуальном порядке, причём при решении

каждой задачи ученика просят «думать вслух».

Поскольку вопрос о целесообразности жёсткого вре-

менного ограничения в дидактическом тестировании

весьма дискуссионный, то как компромиссный вариант

вполне приемлема следующая рекомендация:

существенность фактора времени выполнения теста

(наряду с содержательными факторами) контролируется

по количеству испытуемых, не успевших закончить тест,

или другими методами.

Все указанные рекомендации требуют

определённого применения количественных методов.

Так что неправильно было бы считать содержательную

валидизацию только теоретической работой (хотя она

здесь, безусловно, доминирует). *

Специфические проблемы — в основном содержа-

тельной валидизации — связаны с названием теста, со-

стоящим из нескольких слов, которые должны отразить

сущность теста, его главную диагностическую

направленность (нередко — в сочетании с местностью, в

которой он создан). Например, «Батарея

профессиональных способностей для служб» или

«Канцелярский тест штата Миннесота», «Станфордский

тест навыков в обучении».

Отмечая встречающееся на практике

несоответствие валидности и названия теста, А.

Анастази пишет, что «название теста не может служить

указанием на то, что он измеряет. Оно лишь позволяет

опознать его». Чаще всего названия тестов слишком

250