Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

В критериальных тестах, в тестах действия он определя-

ется структурной сложностью внешнего критерия и диа-

гностируемого действия (его элемента);

б) содержанием и формой построения задания. Лю-

бой, в том числе трудный, материал можно удачно или

не-

удачно разложить — так, что при анализе ответов на

зада-

ние теста диагност сможет или нет понять, насколько

глу-

боки и структурированы знания испытуемого.

Хотя это будет видно при эмпирическом анализе по-

ie первых адаптационных проб, прогнозирование

степени трудности заданий теста (без обращения к

испытуемым) возможно также логическим и экспертным

путём. Это сэкономит время при доработке теста..

Экспертный путь связан с созданием специальной

методики, подбором квалифицированных и

компетентных экспертов, организацией и обработкой

данных их опроса. Качество экспертизы затем может

быть сопоставлено с результатами эмпирического

анализа. Это проверенный путь, доказавший свою

целесообразность в почти столетней практике тести-

рования.

Степень трудности теста в субъективном аспекте

(для обследуемого) зависит, в первую очередь, от уровня

его базовой подготовки к контролю знаний. (Для

незнающего иностранный язык все задания текстового

характера будут одинаково трудны.) Кроме того, от

формы предъявления заданий (будут они

рассматриваться как рутинные или нерутинные, удачно

или неудачно будут сформулированы) и от условий

тестирования. Даже отличника, а тем более среднего

или слабоуспевающего учащегося, можно сбить с толка

агрессивной позицией диагноста или недружественным

интерфейсом компьютерного теста.

Шум, жара, сжатые сроки выполнения задания и

иные возможные факторы (вплоть до вчерашней товари-

161

Ч А С Т Ь П Е Р В А Я

щеской посиделки или утреннего семейного скандала)

могут субъективно создать для отдельного

испытуемого, а иногда и всей группы ситуацию

восприятия тестового задания как более или менее

сложного. Вполне могут сработать и законы

психического заражения как хорошим, так и дурным

настроением. Логический подход к определению

степени сложности (трудности) теста связан с поиском

педагогами математического обоснования трудности

теста — как по формальным показателям диагностируе-

мого содержания учебного материала, так и по некото-

рым характеристикам самого тестового задания. Напри-

мер, задание надо строить (и разработчик пытается это

делать) на базе материала конкретного пособия, а

насколько сложно для изучения само пособие, надо

тоже учитывать.

Существует множество подходов и формул

определения различных характеристик степени

сложности текста учебника, пособия [16; 22; 102; 106;

148 и др.].

В зависимости от диагностируемого раздела знаний

при содержательной валидизации теста, подсчитав

предварительно степень сложности материала, который

изучали (если только действительно изучали)

испытуемые, можно определять и адекватную степень

сложности соответствующих тестовых заданий. Этот

подход близок к экспертному, не исключает, а дополняет

его, контролируя качество экспертизы по объективным

данным, методом контент-анализа.

Определить степень трудности тестового задания

пытаются и по числу операций, которые должен

выполнять испытуемый при нахождении правильного

ответа на тестовое задание. Больше операций — более

высокая трудность теста. Подход такой интересен, но

проблематичны методики подсчёта.

В.П. Беспалько считает, что применение «весовых»

коэффициентов к отдельным операциям теста для учёта

степени их сложности возможно лишь на этапе

162

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

овладения деятельностью, так как после этого для

учащегося все операции в пределах одного и того же

теста становятся равнотрудными и равносложными [22,

с. 64]. Поскольку мы имеем в этом случае дело с

разнокачественными, различными по психологическому

содержанию и субъективной сложности (для

испытуемого) операциями, трудно определить, в какой

мере можно использовать количественные методы.

Кроме ранговой шкалы, хотя и она здесь становится

весьма проблематичной, — труднее ли три элементарные

операции на уровне арифметики для 1-го класса одной,

но из тригонометрии? Для обоснованного ответа на этот

вопрос необходимы сопоставимые по методике

исследования на разном учебном материале с разно-

возрастными контингентами и накопление банка диагно-

стических данных. Пока что ни того, ни другого нет.

В.П. Беспалько считает неверным отождествление

трудности учебного материала или теста с числом

операций, необходимых для выполнения упражнения

или решения тестового задания. По его мнению, «это

иллюзорное представление о трудности: если

упражнение или тест не выходят за пределы одного и

того же уровня деятельности, то независимо от числа

операций в них они равно-трудны. Тем не менее при

сравнении тестов или упражнений по числу

содержащихся в них операций можно внести термин

«трудоёмкость», от которой зависит необходимое время

на выполнение учебных или контрольных действий» [22,

с. 79].

Мы считаем методической находкой введение тер-

мина «трудоёмкость выполнения теста испытуемым», не

путая его с трудоёмкостью обработки задания, что уже

является делом диагноста. Однако не согласны с тем,

что этот термин связывают только со временем вы-

полнения задания. Это понятие и скрывающееся за ним

явление надо исследовать в методологических экспери-

ментах, фиксируя время решения тестовых заданий с

различным числом операций и субъективное их вос-

163

Ч А С Т Ь П Е Р В А Я

приятие как обследуемыми, так и диагностами, экспер-

тами.

Необходимо различать «трудность», «трудоёмкость»

и рутинность заданий (что и предлагалось в нашем клас-

сификаторе). Прогноз рутинности заданий зависит от

психолого-педагогического знания разработчиком обсле-

дуемого контингента.

Для компьютерной дидактической диагностики ин-

тересно предложение К.Н. Свидлера характеризовать ка-

дры, содержащие реакцию на ответ обучаемого, «весом»

ошибки (0 — правильный ответ, от 1 до 5 баллов — «вес»

ошибки, в зависимости от которого система выводит на

дисплей более или менее «жёсткие» комментирующие

реплики). Особенно важен расчёт значений показателей

успешности обучения — от процента правильно выпол-

ненных заданий до более сложных коэффициентов [132,

с. 85].

Проблема трудности заданий теста (как

объективной, так и прогнозируемой) — одна из

ключевых в дидактическом тестировании и требует

разностороннего исследования, накопления,

публикации и дискуссионного анализа собираемых

данных.

ПЛАНИРОВАНИЕ ТЕМПА ВЫПОЛНЕНИЯ ЗАДАНИЙТЕСТА

Преимущества, недостатки и характерные черты

«скоростных» тестов отмечались выше. Надо сказать,

что нормативы выполнения этих тестов достаточно

запутаны и малоисследованны и тем не менее «кочуют»

из одного руководства в другое. Про аналогичную

ситуацию в науке немецкий просветитель Г. Лихтенберг

двести лет тому назад писал, что «идеи переходят из

одной книги в другую, минуя голову». Мы добавим — и

очень удачно обходя эксперимент.

Общий временной норматив выполнения теста дол-

жен идти «снизу» — от нормативов выполнения тестовых

заданий, полученных экспериментальным путём. А зада-

164

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

ния, как известно, различны по содержанию, форме, мас-

терству составления и по затратам времени, нужного на

решение.

В компьютерном тестировании следует учитывать,

как и в традиционном (бланковом), индивидуальный

стиль деятельности испытуемого и необходимость при

тестовом контроле не вызывать стрессы, а снимать их,

создавая максимум условий для развития реальных

учебных возможностей испытуемого. Применяемые во

многих тестах, особенно — компьютерных, временные

ограничители должны быть либо сняты, либо

экспериментально обоснованы, или как компромисс их

можно использовать как дополнительный,

второстепенный фактор качественной оценки

деятельности испытуемого.

Разумеется, за исключением моторных и скоростных

тестов (в основном аппаратурных), которые имеют обос-

нование времени решения задания нормативами и

ситуациями реальной профессиональной деятельности.

Для компьютерного тестирования чрезвычайно важ-

но наблюдение, сделанное при анализе

программированного обучения с применением машин

еще в 60-е годы Лоренсом М. Столяровым. Он отмечал,

что «темп подачи материала является обоюдоострым

оружием. Переходные скорости подачи нельзя

применять длительное время, так как при этом может

сформироваться определённая установка на скорость,

которая затем с трудом поддается изменению. Если

характер поведения резко меняется с возрастанием

скорости, а в конечном счёте желательно получить

быстрое реагирование, то вообще не следует прибегать

к малым скоростям» [143, с. 138].

Как бы ни спорили разработчики о необходимости

вывести фактор скорости из системы основных парамет-

ров оценки выполнения заданий теста во

второстепенные, реальный процесс обучения протекает

в условиях достаточно жёстких лимитов времени на

165

Ч А С Т Ь П Е Р В А Я

усвоение тех или иных знаний в соответствии с

отведёнными на это часами программы.

Поэтому в педагогике и психологии постоянно пред-

принимаются попытки связать с фактором времени оце-

нивание результативности обучения. Строятся

соответствующие математические модели, логика и

опыт создания которых могут быть использованы при

конструировании системы показателей теста.

Так, В.О. Овакимян предлагает вероятностную мо-

дель обучения, «устанавливающую взаимосвязь между

вероятностью правильного ответа на определённом (за-

данном) этапе контроля знаний и параметром,

характеризующим сам процесс обучения (в его модели —

скорость обучения)» [105, с. 24].

2.5. КОМПОЗИЦИЯ ТЕСТОВЫХ ЗАДАНИЙ В

ДИДАКТИЧЕСКОМ ТЕСТЕ

Применяемое тесто логами понятие «очевидная ва-

лидность» теста означает, каким по качеству

измерительным инструментом тест кажется лицам,

принимающим решения о тестировании, разработчикам,

диагностам, обследуемым учащимся и т.д.

Как выглядит тест внешне и насколько удачно он

сконструирован внутренне, во многом зависит от его

композиции.

Проблема композиции тестов в педагогической и

психодиагностической литературе слабо освещена и

многими начинающими разработчиками дидактических

тестов просто не осознаётся. Тем не менее от удачности

её решения нередко зависит, будет ли тест приобретён

(а в условиях рыночной экономики это немаловажный

фактор для разработчиков). Причины, по которым

западные тестоло-ги не стремятся раскрывать секреты и

находки в области композиции тестов, столь же

понятны. Тесты — продукт интеллектуальной

собственности — продаются и покупаются. Их создание и

композиция — сложная творческая работа, которая пока

166

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

что плохо гарантирована авторским правом, тем более —

в России и СНГ.

B.C. Аванесов в статье о композиции тестовых зада-

ний отмечает, что эта проблема малоисследована. «Цель

композиции — создание заданий, которые могли бы ис-

пользоваться в современных программно-педагогических

средствах автоматизированного обучения и контроля

знаний для достижения объективности и эффективности

тестовой оценки».

Если в традиционном бланковом и тренажёрном тес-

тировании форма предъявления заданий для учащихся,

не имеющих опыта тестирования, на начальных этапах

относительно индифферентна, то в компьютерном

тестировании тех же учащихся ситуация качественно

иная. Сказывается социотехническое окружение — мы

живём в век массового телевидения, массовой красочной

рекламы, компьютерных игр. Их юные фанаты — наши

обследуемые.

Психологи замечают, что учащиеся, привыкшие к

компьютерным игровым программам с богатой графикой,

мультипликацией, в таком же контексте воспринимают

компьютерные обучающие программы и дидактические

тесты. То есть как интересные или неинтересные, что

уже явно влияет на результат.

B.C. Аванесов справедливо считает, что «взаимодей-

ствие содержания и формы — главное в композиции тес-

товых заданий. Поэтому не случайно композиция им оп-

ределяется как содержательная форма, т.е. такая

форма, которая наилучшим образом соответствует тому

или иному содержанию. Эта идея даёт начало главному

принципу композиции задания — принципу соответствия

формы содержанию и содержания форме».

Умелое сочетание тест-заданий различного типа не

нарушает логику работы учащегося с тестом, не сбивает

его, а стимулирует проблемное и логическое мышление,

формирует уважение к тесту как продукту интеллекту-

ального труда (как хорошо изданная книга, удачно сде-

ланная и интересная игровая программа, эффектный ви-

167

Ч А С Т Ь П Е Р В А Я

деоклип). Удачный тест, особенно компьютерный, может

создать мотивацию сотрудничества в обучении и стиму-

лировать учебную активность по предмету, а возможно,

и рост обучаемости. Эта гипотеза, как и многие другие,

подлежит экспериментальному исследованию. Но пока

нет данных, которые бы её опровергали, не стоит

ориентироваться на эту гипотезу при создании

компьютерных тестов.

Технология композиции тестов разного типа во мно-

гом должна быть обусловлена не только диагностически-

ми целями и задачами, но и спецификой обследуемого

контингента, знанием его круга интересов, мотивации,

социокультурного уровня, возрастных особенностей. От

их учета в композиции теста, как традиционного, так и

компьютерного, зависит восприятие теста как средства

обучения и контроля. Нам представляется

односторонней позиция B.C. Аванесова, когда он

утверждает, что «педагогический тест — это. система

заданий возрастающей трудности».

В наших случаях сложность заданий должна возрас-

тать. В дидактическом тесте она определяется логикой

построения теста как средства отражения

определённой и отнюдь не хаотичной структуры

диагностируемого учебного материала, а также его

объёмом и «кривой утомляемости» обследуемых. Чтобы

по-научному решить этот вопрос, необходимо

специально исследовать возможности, чётко и

иерархично выделить систему всех существенных

показателей, характеризующих композицию теста.

Вполне вероятно, что обнаружить их можно не толь-

ко в психолого-педагогических трудах и анализе опыта

зарубежных тесто логов, но и в довольно далёких от

педагогической психологии и дидактики отраслях

знания. Например, в таких, как психология и дизайн

рекламы, теория художественной композиции, опыт

оформления книг и плакатов, а для компьютерных

тестов — основы мультипликации, сценарной подготовки

и съёмки видеоклипов (и разработки компьютерных игр).

168

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

Пока что ресурсы смежных с педагогикой отраслей

знания практически не задействованы.

Среди показателей оценивания тестового задания

B.C. Аванесов, наряду с композицией и содержанием, от-

мечает конкретность и абстрактность, глубину обобщён-

ности, полноту и содержательную чистоту

отображённых в нём знаний. «Последнее подразумевает

отсутствие пересечения содержания знаний одной

учебной дисциплины с содержанием другой».

Целесообразно экспериментально обосновать ранжи-

рование этих показателей, их значимость для экспертно-

го оценивания качества тестов. Необходимы банки дан-

ных о практике тестирования «вне времени и границ».

Поиск оптимальных вариантов композиций тестов дол-

жен вестись всеми разработчиками, кроме того, необхо-

димо подключить к дидактическому тестированию пси-

ходиагностическое сопровождение, чтобы определить

отношение испытуемых к тестам и тестовым заданиям

разного типа.

2.6. ИНСТРУКТИВНО-МЕТОДИЧЕСКИЕ МАТЕРИАЛЫ К

ДИДАКТИЧЕСКОМУ ТЕСТУ

Тест — это не только задание с эталоном ответа, но

и совокупность сопровождающих его необходимых

инструктивно-методических материалов. В их число

входят:

а) данные презентации теста — его описание в соот-

ветствии с требованиями стандартов (не введённых ещё

России);

б) инструкция диагносту;

в) инструкции испытуемому;

г) в бланковых тестах — раздаточный материал,

включая бланки ответа или какие-либо другие формы их

фиксации.

В опыте зарубежного диагностического

тестирования все перечисленные выше сведения

169

Ч А С Т Ь П Е Р В А Я

включаются в соответствии с выработанными

стандартами в прилагаемые к каждому комплекту

«руководства к тесту», которые порой достигают иногда

объёма средней книги и без них ни один комплект теста

не будет продан. Но — только на Западе.

В СНГ продаются и рекламируются тесты, не только

не прошедшие стандартизации или экспертизы, но и рез-

ко критикуемые в прессе профессионалами. Законода-

тельной же базы, ограждающей рынок от наукообразной

халтуры, пока что нет.

Примером высококачественной подготовки инструк-

ции может быть Станфордский тест достижений, где в

руководстве для интерпретации показателей по

каждому уровню перечисляются более широкие задачи

обучения, соответствующие группам заданий, и даются

советы по обучению тем навыкам, которые ещё не

усвоены отдельными учащимися или классом [8, с. 43].

Таким образом, тест органично вписывается в учебный

процесс, в его ме-тодобеспечение и получает

педагогическую валидность.

ИНСТРУКЦИЯ ДИАГНОСТУ

Учитывая ограниченный опыт разработки тестов и

пользования ими, а также слабость диагностической

подготовки большинства педагогов России, инструкция

диагносту должна включать в себя не только данные о

специфике теста, но и элементарные рекомендации по

профилактике негативных ситуаций, которые могут

возникать в процессе его применения. То, что для

опытного американского педагога является давно

известным, педагогами СНГ применяется впервые и

целесообразно им подробно всё объяснить. Тем более

что о надёжности и валидности используемых

дидактических тестов данные практически не

публикуются.

В «Инструкцию диагносту» обязательно должно вой-

ти положение об этике организации тестирования и

170