Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

дерзкий». Хорошо

составленное задание:

«Нелегальный:

секретный,

противозаконный,

сексуальный,

неграмотный,

дерзкий».

В плохо составленном задании слово «незаконный»

явно предполагает правильный ответ с приставкой «не»,

а во втором случае «неграмотный» удачно наводит на

ложный след учащегося, пытающегося использовать

внешние ассоциации и незнакомого с термином «неле-

гальный» [7, с. 50-53].

2.4. КОНСТРУИРОВАНИЕ ТЕСТОВЫХ ЗАДАНИЙ

ОБЩИЕ ТРЕБОВАНИЯ И ПОДХОДЫ К

КОНСТРУИРОВАНИЮ ТЕСТОВЫХ

ЗАДАНИЙ

Конструирование тестовых заданий (называемое

иногда «формулировкой», что ограничивает смысл

работы на этом этапе) является ключевой позицией в

составлении.

Малоопытные составители, ознакомившись с не-

сколькими тестами, именно с неё начинают (а нередко

ею и заканчивают) работу по созданию теста. Понимая,

что не все первоначально сформулированные задания

окажутся удачными, они идут по пути увеличения

количества однородных (гомогенных) заданий в тесте

(иногда — в его дублирующих вариантах, если их

создание входит в замысел). Затем на основании анализа

трудности заданий и применения методов факторного

анализа эмпирическим путём отбираются те задания,

которые наиболее высоко коррелируют с критерием

(диагностируемыми показателями).

151

Ч А С Т Ь П Е Р В А Я

При наличии даже самых простых современных

ПЭВМ можно создать набор относительно приемлемых,

но примитивно нормативных тестовых заданий.

Отмечая трудоемкость критериального тестирова-

ния, А.Г. Шмелёв считает, что «практически невозможно

построить критериальный тест за счёт одной статистики,

сколь бы мощными выборками и батареями заданий мы

не располагали. Необходима работа над содержательной

валидностью заданий. Критериальное тестирование име-

ет ограниченное применение в задачах построения мето-

дик с широкой областью применения» [103, с. 82].

Психологами наработано немало полезных рекомен-

даций, относящихся к конструированию критериальных

тестовых заданий. Психолог Е.И. Горбачёва отмечает,

что «получившая развитие в США и других странах

практика разработок критериально-ориентированных

тестов, традиционно ориентируясь на концепцию

критерия как определённого континиума знаний,

навыков, специфических операций, по сути дела,

оставила без внимания определение критериального

задания с точки зрения его психологического

содержания» [40, с. 75].

Критериально-ориентированные тесты разрабатыва-

лись в основном как дидактические, поэтому рекоменда-

ции по их составлению и анализу вполне пригодны для

Дидактической диагностики. Так, по мнению Е.И. Горба-

чёвой, «главным условием психологического анализа

критериального задания нужно считать создание его ал-

горитмической основы и практическое овладение этой

основой». Кроме того, «принципиальным моментом в

адекватном выборе критериальной области

исследования является... то, что умение, подлежащее

психологическому анализу... находится у ученика в

стадии становления» [40, с. 76].

При построении критериальных заданий следует

учитывать, что результаты их выполнения намного слож-

нее обрабатывать и адекватно оценивать, чем у

тестовых заданий нормативного характера. Е.И.

152

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

Горбачева выделяет три вида трудностей

психологического анализа критериальных заданий:

1)связанные с процессом психологического декоди-

рования (необходимо найти оптимальные пути решения

и дать их психологическую характеристику);

2)учёт субъективного понимания задания выполня-

ющим, особенности его апперцепции (включая и

«доопределение» задания) на основе конкретных

примеров ошибочного выполнения задач,

обусловленного внешними и внутренними элементами

его содержания, а также на основе изучения

индивидуальных путей преодоления ошибок и

неточностей выполнения;

3)ограниченность психологической компетенции

[40, с. 76].

Практикуемый до сих пор на Западе и проникающий

к нам через калькирование западных тестов и других

средств диагностики утилитарно-эмпирический подход

подобен слепому поиску, игнорирует концептуальную ос-

нову теста, значительно осложняет его стандартизацию,

даёт очень невысокую содержательную и критериальную

валидность*

В результате получается вместо концептуально

обоснованного диагностического инструмента «сборная

окрошка», которую невозможно ни объяснить, ни

обосновать.

Существенное влияние такой эмпирический подход

оказывает и на формирующуюся в СНГ дидактическую

тестологию. «Ползучий эмпиризм», от которого стремят-

ся всеми силами избавиться лидеры-теоретики зарубеж-

ной психодиагностики, с большими или меньшими ого-

ворками пропагандируется у нас в издающихся

методических рекомендациях по составлению тестов.

В.П. Беспалько считает, что при создании тестов,

кроме функциональной валидности, надо обеспечить их

соответствие и таким требованиям, как:

—содержательная валидность, т.е. соответствие

теста содержанию обучения, отображённому в

153

Ч А С Т Ь П Е Р В А Я

логической структуре и выраженному в форме

определения диагностируемых тестом УЭ (учебных

элементов);

—простота (в одном тестовом задании должна быть

представлена одна задача данного уровня усвоения);

—определенность (недвусмысленная формулировка

задания теста, обеспечивающего его общепонятность

для испытуемых);

—однозначность обеспечиваемого конструкцией

эталона, в котором должно содержаться полное и

правильное решение (или варианты решения) задачи [22,

с. 66].

Представляют интерес практические рекомендации

социолога B.C. Аванесова по формулировке тестовых за-

даний — высказываний теста (если он строится в форме

определений, предложений, вопросов) в виде 7 правил:

1) высказывания должны быть по возможности ко-

роткими, содержать не больше одного придаточного

предложения;

2) все высказывания должны быть понятны всем без

исключения обследуемым (сформулированы в простых

выражениях с общеупотребительной лексикой, без тер-

минов, иностранных и малоупотребительных слов);

3) структурированные ответы к каждому высказыва-

нию теста желательно строить с одинаковым числом

альтернатив (от 5 до 11), что скажется на

эффективности работы обследуемого и облегчит

обработку результатов;

4) в тесте необходимо стремиться к

сбалансированному количеству высказываний с

позитивными и негативными суждениями, чередуя их в

случайном порядке;

1) по возможности надо избегать оборотов с

отрицанием «не», предпочтительно что-то утверждать

(как позитивное, так и негативное);

5) каждое предложение должно содержать одно, а

не несколько утверждений (иначе трудно определить, к

какому из утверждений относится ответ) [2, с. 97].

154

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

Эти рекомендации эффективны лишь в том случае,

если в основе теста лежит достаточно продуманная кон-

цепция или чётко определённые критерии и индикаторы.

Более полезны эти замечания для заданий, построенных

в фэрме предложений, суждений, которые надо оценить.

КОЛИЧЕСТВО ЗАДАНИЙ В ТЕСТЕ

Конструирование показателей теста связано с

определением необходимого числа заданий по каждому

индикатору и показателю. Здесь следует учитывать,

каким задуман тест в целом — гомогенным

(однородным), измеряющим одно структурное целое,

составляющее единицу знания (или какое-либо

качество), либо гетерогенным, измеряющим несколько

самостоятельных качеств, фрагментов знаний. В.П.

Беспалько, отождествляя понятия «тест» и «тестовое

задание», пишет: «Общее число тестов в наборе

определяется необходимой надёжностью контроля. Так,

если это текущий контроль, то достаточна 20-30%-ая (г

= 0,2-0,3) надежность, тогда в батарее тестов

содержится 10-12 операций. Для итогового контроля г =

0,7-0,75, а следовательно, р = 40-50» [22, с. 67].

Позиция В.П. Беспалько, занижающая планку на-

дёжности текущего контроля, нам представляется

весьма дискуссионной, так как при столь низкой

надёжности текущий контроль становится как бы

«второсортным».

Создатели социологических и психологических тес-

тов (близких по форме построения многим дидактичес-

ким тестам) считают, что количество предлагаемых в

тесте высказываний (подлежащих оцениванию

опрашиваемыми) или отдельных заданий должно быть

таким: для гомогенного, однородного — 23-29,

практически оптимальное — 30-40, теоретически

желаемое — свыше 41. По их мнению, чем больше

тестовых высказываний, тем надёжнее тест, т.е. при

прочих равных условиях надёжность теста возрастает

155

Ч А С Т Ь П Е Р В А Я

по мере увеличения числа высказываний-заданий до

бесконечности.

Для гетерогенного теста рекомендуется примерное

минимальное число высказываний — не менее 20, макси-

мальное — не более 200. В последнем случае на

тестирование нужно от 25 до 100 минут в зависимости от

уровня образованности респондентов.

По данным B.C. Аванесова, исследование мировоз-

зренческих ценностей по тесту из 100 пословиц

занимало от 17 до 45 минут, время выполнения теста

сокращалось по мере увеличения образованности

опрашиваемых [2, с. 67].

Вопрос о количестве оптимальных заданий в тесте

нуждается в социальных методологических эксперимен-

тах с тестами разного типа на основе значительного

банка данных, собираемых по мере развития

тестирования в СНГ. Пока что слишком мало фактов для

каких-либо категоричных рекомендаций.

КОНСТРУИРОВАНИЕ ПОДСКАЗОК-

ОТВЕТОВ В ДИДАКТИЧЕСКОМ ТЕСТЕ

В практике дидактического тестирования — отечест-

венной и зарубежной — доминируют тесты первого

уровня (по типологии В.П. Беспалько). Компьютеризация

учебного процесса стимулирует их активную

разработку, так как именно такого рода тесты с

вариантами ответов-подсказок хорошо поддаются

количественной обработке и предъявляют минимальные

требования к активности обследуемого при выборе

ответов — ему достаточно нажать клавишу с номером

или буквой соответствующего варианта. Опыт

построения такого рода тестов был накоплен еще в

период увлечения программированным обучением в 60-

70-х годах.

В программированном обучении методические поис-

ки вариантов эффективных видов подсказок Б.Ф. Скин-

156

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

нера и Д. Холланда (США) привели к выделению следую-

щих видов:

а) построенные на соотношении определения и при-

мера (определение даётся полностью, в примере

делается

пропуск);

б) предъявление начальных, конечных или других

букв слова, которое учащийся должен вписать;

в) рифмование: например, «пятью пять...»;

г) использование известных выражений (когда

требу-

емое слово воспроизводится в силу привычной ассоциа-

ции с другими, которые даны). Например, при изучении в

курсе психологии понятия «рефлекс» даётся такое пред-

ложение: «доктор постукивает по вашему колену моло-

точком, чтобы испытать ваши...»);

д) использование ассоциации противоположных по-

нятий. В том же курсе психологии в разделе о рефлексах

даётся определение положительного подкрепления, а

за-

тем — совершенно аналогичное по форме определение

от-

рицательного подкрепления, но уже с пропуском слова

«отрицательное» [143, с. 291].

Какие из вариантов подсказок лучше? Профессор

И.Ф. Вольвилль (Колумбийский университет, США), ха-

рактеризуя различные виды подсказок в тесте, отмечает,

что «как в любви или на войне, в программировании все

средства хороши, когда они ведут к правильному

ответу».

Многие тесты второго уровня (по В.П. Беспалько)

строятся как задания на заполнение пропусков. Это рас-

пространённый приём тестирования в гуманитарных на-

уках и по теоретическим разделам Других предметов.

Чем конкретнее при спецификации сформулированы

задачи диагноста, тем легче, пользуясь нашими типоло-

гическими таблицами дидактических тестов и тестовых

заданий, подобрать целесообразную форму задания.

157

Ч А С Т Ь П Е Р В А Я

При построении подсказок в закрытом тест-задании

диагност решает: какую ему выбрать шкалу оценивания

ответов — альтернативную (номинальную, «решено-

нерешено», «верно-неверно») или ранговую,

позволяющую оценивать степень приближённости

ответа к правильному. Концепции федеральных

общеобразовательных стандартов рекомендует: «Форма

заданий (с выбором ответа, с альтернативным ответом,

с кратким свободно-конструируемым ответом, с

развёрнутым свободно-конструируемым ответом,

включая эссе, сочинения, устные ответы на

собеседованиях), должны выбираться в зависимости от

специфики образовательной области при обязательном

условии объективного измерения и фиксации» [61].

Метод выборочных ответов имеет своих противников

— по привычке тестобоязни или по принципиальным, но

не всегда достаточно научно аргументированным

соображениям. Так, К.М. Шоломий считает, что метод

выборочных ответов (при диалоге учащегося с компьюте-

ром), «стимулируя только актуализацию знания с опорой

на непосредственное восприятие, тормозит

формирование деятельности «в уме» и препятствует,

таким образом, умственному развитию» [168, с. 117].

Вероятно, такие выводы надо подкреплять достаточ-

но обоснованными экспериментальными данными, кото-

рые противники тестовых заданий с выборочными

ответами обычно не приводят. Свои плюсы и минусы есть

у каждого подхода и они хорошо описаны в литературе.

Совсем не обязательно стремиться к единой для всего

теста шкале оценок, особенно при наличии ПЭВМ для

обработки данных. Тут следует придерживаться логики

оптимизации формы построения задания, а не думать о

простоте обработки (хотя и её надо учитывать).

ВНУТРЕННЯЯ СОГЛАСОВАННОСТЬ ЗАДАНИЙ ТЕСТА

Данные о внутренней согласованности заданий

теста можно получить только после первичной его

158

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

апробации на достаточно репрезентативной выборке. Но

планирование внутренней согласованности вполне

возможно при наличии у разработчиков концепции теста

и его конструкта. Особенно если четко выделены

эмпирические индикаторы этого конструкта и они

описаны в корректной, операциональной терминологии.

Так как источником формирования такого конструк-

та-модели должны быть наряду с теоретическими экспе-

риментальные исследования, то в них следует

отыскивать исходные данные о корреляции различных

факторов и элементов конструкта. Цель этих данных —

помочь в предварительном обеспечении внутренней

согласованности заданий теста. ,

Внутренняя согласованность определяет гомоген-

ность теста, направленность заданий на

диагностический признак — какое из них как работает

(контроль качества заданий). Польский дидакт В. Оконь

[106, с. 366] внутреннюю согласованность теста

определяет как вариантность его результатов, понимая

её как среднее арифметическое квадратов отклонений

результатов от их среднего арифметического, приводя

при этом формулу

где G

— обозначает вариантность результатов теста, Е

— знак суммирования, х^ — предварительный результат

теста, М

— среднее арифметическое результатов теста,

N — количество результатов.

Внутреннюю согласованность заданий теста не

следует отождествлять с однотипностью

(гомогенностью) построения заданий/Последнее,

несомненно, удобно разработчику (меньше хлопот с

формулировками заданий), упрощает работу

обследуемого и облегчает (при традиционной ручной

или калькуляторной обработке) количественный анализ

159

Ч А С Т Ь П Е Р В А Я

результатов тестирования. Но диагностические

характеристики теста этот подход не повышает, а

снижает, так как всё многообразие дидактико-

диагности-ческих задач сводится к одной форме

заданий.

В соответствии с психическими закономерностями

адаптации (приспособления) навыка к задаче в тестах с

одной формой построения заданий выше вероятность не-

санкционированного поведения обследуемого — попьгТ'

ки угадывания» в том числе по определённой системе.

Нередко они провоцируются неумелостью составителя,

особенно в тестах с множественным выбором, когда из 5

возможных вариантов ответа правильный чаще других

ставится на 3-4-е (или любое другое) место. Это очень

быстро понимают испытуемые на более лёгких для них

заданиях. Простота необходима там, где мотивирована

логикой и содержанием заданий, отражающих логику и

содержание диагностируемого учебного материала.

ПЛАНИРОВАНИЕ ТРУДНОСТИ ЗАДАНИЙ ТЕСТА

Степень трудности заданий дидактического теста

полностью определяется только после первичной его ап-

робации на репрезентативной выборке того контингента,

для которого методика предназначена.

Планирование заданий различной степени трудности

— обязанность разработчика. Целесообразная степень

трудности того или иного задания, группы заданий, суб-

теста или теста в целом полностью определяется

диагностическими целями и задачами тестирования.

Понятие «трудность» в дидактике многозначно и

имеет как объективный, так и субъективный

компоненты. Объективный компонент трудности задания

обусловлен:

а) степенью сложности, глубины, структурированно-

сти; понятийной, математической и графической насы-

щенностью ранее изученного учебного материала, а так-

же всеми иными его существенными характеристиками.

160