Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

A.Анастази советует выделять в разработке

учительских тестов три этапа: 1) планирование, 2)

написание заданий и 3) анализ заданий [8, с. 50].

B.Оконь также считает, что разработке тестового

задания должно предшествовать утверждение плана

теста, учитывающего рациональные пропорции

различных видов заданий. Количество же заданий в

тесте зависит от объёма материала, детализации и

глубины предполагаемой проверки, а также затрат

времени на неё [106, с. 366].

Отмечая роль предварительного планирования и мо-

делирования замысла и структуры теста, его конструк-

та, А. Анастази пишет: «Составитель теста, начинающий

с написания задания, скорее всего создаст узкона-

правленный тест. Без предварительного плана некото-

рые темы изучаемого предмета могут занять слишком

много места, в то время как другие останутся

незатронутыми» . В результате в тесте будет такое

соотношение заданий на запоминание простых фактов и

критичность мышления, которое плохо отражает

реальные учебные цели [8, с. 50].

Российские психодиагносты отмечают

необходимость пересмотреть принципы

конструирования тестов, уходя от интуиции психологов-

практиков к научной методологии и строгой

экспериментальной апробации методик.

Надо начинать с их научного осознания, чёткого

фор^ мирования. Далее они должны быть доведены до

такого уровня, когда их можно было бы представить в

виде взаимосвязанных социально-психологических

нормативов, критериальных эталонов.

Тест следует строить, исходя из этих социально-пси-

хологических нормативов. Использование в массовой ра-

боте по изучению умственного развития людей этих эта-

лонов означает отказ от статистических норм и целого

ряда связанных с ними понятий. Сравнение с

нормативами фактических материалов изучения людей

позволит определить подлинные достижения и пробелы

131

Ч А С Т Ь П Е Р В А Я

в их развитии. Конкретно все сопоставления результатов

тестирования следует проводить с тем максимумом,

который представлен в самом тесте, а это есть общее

число имеющихся в нём заданий. Те требования к

умственному развитию, которые закладываются в такой

тест, можно рассматривать как модель норматива. При

этом не следует отказываться от среднестатистических

значений, но «многие из приёмов обработки

традиционных критериев потребуется пересмотреть»

[45, с. 141].

Усиление технологичности в конструировании

тестов создаёт благоприятные предпосылки для их

апробации и стандартизации. Конструирование и

апробация теста как научно обоснованной

диагностической методики представляет собой, по

существу, самый настоящий научно-методический

эксперимент.

Эксперименты по разработке и проверке

инструментария редки и плохо описаны в

педагогической литературе. Только последние годы им

стали уделять внимание. «Методические эксперименты

исследуют роль факторов, не отражённых в предметной

теории, но могущих оказать влияние на результаты

ориентирующих и критических экспериментов. Они

проводятся для оценки качества основных методик и для

их совершенствования. Они также связаны с теорией, но

уже не с предметной, а с теорией метода, с

представлениями о закономерностях взаимодействия

субъекта исследования с объектом познания,

экспериментатора и его инструментария с испытуемым»

[49, с. 47].

Согласно систематизации опыта разработки тестов,

планирование теста включает последовательные опера-

ции:

1) определение диагностических целей

тестирования;

1) операционализация используемых понятий и кон-

струирование показателей теста;

132

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

2) спецификация теста на основе его модели-конст-

рукта и обеспечение (обоснование) его содержательной

валидности;

3) конструирование тестовых заданий (подсказок-

ответов в «закрытых», элективных тестах и

характеристик ответов в открытых, с конструируемым

ответом);

2) построение композиции теста в целом;

) 6) разработка инструкции обследуемому, формы

бланка ответа (или определение других аспектов и форм

его фиксации);

7)разработка инструкции диагносту (включая опре-

деление средств профилактики негативных ситуаций

при тестировании);

8)разработка программы количественного и качест-

венного анализа результатов теста, проверки его

надёжности и критериальной валидизации на

репрезентативной выборке апробации методики.

Выборку эту также предстоит заранее рассчитать и

обосновать. Всё целесообразно делать, имея в виду

возможности компьютерного ввода и обработки

информации, с учётом имеющегося программного

обеспечения.

Только после выполнения перечисленных выше ра-

бот (в той последовательности, как они приведены)

подготовку теста к первичной апробации можно считать

законченной.

Разумеется, в современных условиях программа ко-

личественного и качественного анализа даже при тради-

ционном «ручном» варианте тестирования должна стро-

иться в расчёте на ЭВМ (ПЭВМ). В компьютерном тести-

ровании решаются все те же задачи, но, разумеется, с

использованием потенциальных возможностей ПЭВМ в

фиксации ответов, предъявлении параллельных заданий

при групповом тестировании, в защите программы от не-

добросовестного испытуемого и т.д.

133

Ч А С Т Ь П Е Р В А Я

2.1. ОПРЕДЕЛЕНИЕ ДИАГНОСТИЧЕСКИХ

ЦЕЛЕЙ И ЗАДАЧ

В любом случае, независимо от масштабности замыс-

ла и его сложности, первоначальным этапом разработки

теста является определение диагностических целей и

задач. При многоэтапном контроле знаний по учебной

дисциплине цели диагностики могут быть связаны с

проверками:

а) знания основных фактов, ключевых понятий и за-

конов по какой-либо теме или её фрагменту;

б) знаний по группе взаимосвязанных тем одного

предмета или относительно самостоятельного (в научно-

методическом плане) раздела курса.

В приведённых двух случаях тест будет включать

близкие по содержанию и характеру задания, а весь

тест (совокупность заданий) будет относительно

однородный, гомогенный. Это очень существенный

момент при конструировании и последующей проверке

и стандартизации теста, так как он определяет

сложность и объём методологической работы авторов

тестов.

Другими целями тестирования по предмету могут

быть:

в) диагностика базовых знаний и умений учащихся

(«входной контроль») перед изучением курса. Проверять-

ся могут эмпирические представления и фрагменты

науч-

ных знаний, полученных при изучении аналогичных

курсов (например, химии, физики, иностранного языка)

на более низких ступенях образования.

Диагностировать-

ся также могут межпредметные знания, необходимые

для изучения нового курса (например, знания физики,

химии для курса материаловедения), «сквозные» учеб-

ные умения и навыки (графические, расчётно-математи-

ческие, аналитические, моторно-двигательные и пр.);

134

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

г) знания ключевых разделов, различных по характе-

ру материала, отдельных главных тем большого курса на

этапах рубежного и итогового контроля.

В подобных случаях труднее конструировать эффек-

тивный и надёжный тест, сложнее будет и объём работ

по его стандартизации. Тесты (батареи тестов) такого

типа называются гетерогенными (неоднородными по

составу). В любом случае необходима адекватность цели

диагностирования возможностям разработчиков — их

квалификации как методистов-предметников и

диагностов, их умению использовать ЭВМ при

разработке и апробации теста, допустимым затратам

времени авторов и т.п.

При планировании целей дидактического тестирова-

ния малоопытные разработчики сталкиваются с весьма

непростыми проблемами. Англо-американские исследо-

ватели процесса обучения в 60-70-е гг. так писали об

этом: «Проверочные тесты и материалы для чтения пока-

зали, что дети, домашний быт и язык которых отличают-

ся от общепринятого, выполняют какое-то другое зада-

ние, нежели дети, подготовленные к восприятию школь-

ных предметов... Хотя социолингвисты и убедились, что

научные построения с одномерным подсчётом показате-

лей не позволяют учесть всё разнообразие языка и куль-

турного опыта детей, они тем не менее не смогли

предложить что-либо взамен. Социолингвисты могут

зафиксировать языковые или культурные различия,

указав на их связь с расхождениями в выполнении теста

или понимании урока; но они не в состоянии

квалифицировать, что именно дети с языковыми и

культурными различиями делают, когда сталкиваются с

тестом или задачей, никак не соотносимыми с их

жизненным опытом» [139, с. 12].

Исследователи из Калифорнийского университета

отмечают, что «до тех пор, пока задания, используемые

для оценки влияния школьного обучения, будут

принципиально отличаться от структуры когнитивных

задач из повседневной жизни, мы вновь и вновь будем

135

Ч А С Т Ь П Е Р В А Я

сталкиваться с основным парадоксом: с невозможностью

получить достоверные данные о том, что именно делали

люди, не обучавшиеся в школе, когда не справлялись с

заданием школьного типа» [139, с. 13].

При создании плана теста и плана методического

эксперимента по его адаптации в многонациональной

России этнопсихологические и этнопедагогические

факторы должны быть учтены на всех стадиях. Общие

цели диагностики в дидактическом тестировании при

рубежном и итоговом контроле вполне могут быть

заимствованы в современной педагогической литературе

и более конкретно, диагностично сформулированы. Хотя

бы на основе традиционно сложившихся и

общепризнанных требований к зачётам и экзаменам,

хорошо описанным в литературе.

Так, С. И. Зиновьев предлагает следующие основные

критерии оценки ответа студента на экзамене:

а) понимание и степень усвоения теории вопроса;

б) методологическая подготовка;

в) степень усвоения фактического материала курса;

г) знакомство с основной (обязательной)

литературой,

а также с современной периодической отечественной и

иностранной литературой по специальности;

д)умение приложить теорию к практике;

е) знакомство с историей науки;

ж) логика, структура и стиль ответа; умение защи-

щать выдвигаемые научно-теоретические положения

[52,

с. 265].

Психологическая диагностика имеет намного более

обширный опыт создания тестов, чем диагностика

педагогическая.

Но далеко не всегда он может помочь, особенно

когда речь пойдёт о создании современного

дидактического теста для диагностики результатов

изучения достаточно сложного учебного предмета или

предметной области. Как отмечает А. Анастази,

136

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

«психологические тесты не имеют заранее

определённых стандартов успешности или неудачи в

выполнении теста, индивидуальные показатели

оцениваются в сравнении с показателями, полученными

другими. Сам термин «норма» указывает на нормальное

или среднее выполнение. Поэтому если обычные вось-

милетние дети правильно решают 12 задач из 50 в тесте

на типичное арифметическое рассуждение, значит,

норма для 8-летнего в этом тесте соответствует

показателю 12. Такой показатель принято называть

первичным (необработанным, сырым). Он может

выражаться числом правильно решённых заданий,

временем, необходимым для их выполнения, числом

ошибок и другими объективными единицами измерения,

соответствующими содержанию теста». Такой

первичный показатель малоинформативен, пока он не

рассматривается в системе норм, которые выработаны

на репрезентативной выборке того контингента, для

которого создан тест [7, с. 34].

В любом случае в педагогической диагностике необ-

ходимо чётко определить, когда можно оценивать

учащегося как достигнувшего определённый

минимально-необходимый уровень подготовленности.

Такая позиция полностью согласуется с мнениями

современных психологов, занимающихся проблемами

научения. Так, А.В. Дрынков отмечает, что «для

организации экспериментального исследования

научения необходимо установить критерий, который

позволял бы определять конец процесса. Таким

критерием может служить либо задаваемый

экспериментатором фиксированный уровень... который

определяет, в частности, момент нахождения решения

задачи, либо установившийся выход кривой научения на

плато. Первый критерий обычно применяется при

исследовании процессов вербального научения, а второй

чаще встречается при исследовании научения сенсомо-

торного типа» [48, с. 74].

137

Ч А С Т Ь П Е Р В А Я

В каком случае можно считать, что процесс обучения

завершён хотя бы на минимально-приемлемом уровне? И

психологи, и педагоги пытаются дать ответ на этот

вопрос при помощи математического подхода. В.О.

Овакимян полагает, что вероятностный критерий

эффективности является объективной мерой для оценки

процесса обучения. Он применим как для оценки

реально протекающего процесса, так и для

сравнительной оценки различных методов, средств и

форм организации обучения. Оценка эффективности

осуществляется на основе вычисления коэффициента

эффективности и сравнения полученного численного

значения с предложенным Й. Лингартом в качестве

достаточной вероятности 0,6, характеризующей завер-

шение обучения. То есть процесс обучения можно

считать эффективным, если К = 0,6. Для сравнительной

оценки различных методик, средств и форм организации

обучения устанавливается коэффициент эффективности

для каждого случая. Полученные значения сравниваются

[105].

Однако В.П. Беспалько с конца 60-х гг. определяет

планки несколько выше — на уровне 0,7 [22]. Эта цифра

«гуляет» по педагогическим работам многие годы сама

по себе, и хотя авторы (включая В.П. Беспалько)

постоянно ссылаются на какие-то проведённые

эксперименты, в результате которых они были получены,

найти литературу, где эти эксперименты описывались,

нам не удалось. Заметим, однако, что российская (а

ранее — советская) ГАИ (госавтоинспекция) постоянно

держит «планку отбора» ещё выше — на уровне 0,9,

однако это не снижает аварийность на дорогах. Более

того, в профобучении «планка» ещё выше — при

подготовке пилотов авиалайнеров 10% ошибок привели

бы к гибели самолёта ещё на взлётной полосе.

Цели тестирования в целом и каждого теста,

составляющего батарею, должны быть сформулированы

диагностично — так, чтобы можно было с помощью

чётко обозначенных операциональных понятий и

138

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

критериев определить — достигнуты они или нет, а

если только частично, — то что решено и что осталось

сделать. Так как каждая общая цель тестирования (на

данном этапе контроля по конкретной учебной

дисциплине) может быть разложена на составляющие

её компоненты — задачи, то целесообразно письменно

или графически изобразить «дерево целей и задач».

Такой приём позволит на следующем этапе более чётко

и обоснованно строить показатели и индикаторы теста.

В качестве примера возьмём курс «Педагогика» для

студентов инженерно-педагогических специальностей.

Цель текущего контроля по первому разделу курса «Об-

щие основы педагогики» — проверка основных знаний по

темам:

1.1. Предмет педагогики и её основные понятия.

Система педагогических наук (2 часа).

1.2. Методологические основы педагогики. Методы

научно-педагогических исследований и диагностики (2

часа).

1.3. Развитие, воспитание, формирование и социали-

зация личности (2 часа).

Цель диагностики: выявить уровень освоения ключе-

вых понятий, характеризующих предмет педагогики и её

основные направления, номенклатуру и функции мето-

дов педагогического исследования, соотношение процес-

сов воспитания и развития личности. Диагностируется

система ключевых понятий: педагогика, дидактика, ме-

тодика, обучение, воспитание, социализация, развитие,

педагогический процесс, преподавание, учение.

Аналогичным образом из типовой и рабочих про-

грамм выбираются характеристики основных направле-

ний педагогики: дошкольная, общеобразовательной шко-

лы, профессионально-техническая, высшей школы и т.д.;

составляется номенклатура методов педагогических ис-

следований, их функций и др.

Задачи диагностики — выявление у студентов:

-2976

139

Ч А С Т Ь П Е Р В А Я

а) по теме 1:

1)понимание предмета педагогики как науки (на уровне

репродукции);

2)знание основных отраслей современной педагогики

(уровень репродукции);

б) по теме 2:

1) понимание сущности определения понятия

«метод педагогического исследования» (представление

об основных структурных компонентах метода);

2) знание номенклатуры и классификации основных

методов педагогического исследования;

3) знание основных компонентов педагогического

процесса и их логической последовательности;

1) понимание главного противоречия воспитания;

4) понимание задач наблюдения как одного из

основных методов педагогического исследования (и

аналогично — задач других исследовательских и

диагностических методов);

в) по теме 3:

1) знание определений основных педагогических

терминов (обучение, воспитание и развитие);

2) знание основных функций воспитания и обучения

(на уровне распознавания).

Развёрнутая диагностическая постановка задач тес-

тирования позволяет без затруднений проводить

процедуру спецификации тестов (субтестов, батарей

тестов) при их разработке.

2.2. КОНСТРУИРОВАНИЕ ПОКАЗАТЕЛЕЙ

ТЕСТА И ОПЕРАЦИОНАЛИЗАЦИЯ

ИСПОЛЬЗУЕМЫХ ПОНЯТИЙ

Аморфность, нечёткость многих педагогических по-

нятий и привычная для педагогов некорректность их ис-

пользования создаёт уже на стадии разработки тестов

значительные сложности вначале авторам тестов, а

затем — пользователям и, естественно, обследуемым.

Чаще всего затруднения связаны с ошибками в

140