Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

методологии построения показателей теста. Многих

ошибок можно избежать, если следовать накопленному

социологами и психологами опыту методологического

обоснования показателей диагностических и

исследовательских методик.

Что надо сделать разработчику теста, чтобы

правильно построить и обосновать показатели теста?

Методологи отмечают, что эмпирическими условия-

ми для построения показателей являются:

1) наличие связи между двумя явлениями; ,

2) возможность наблюдения и измерения одного из

них;

3) конструирование из этого последнего

специфической переменной: классификационной,

сравнительной или

4) количественной. Если выполняются все четыре

условия — получаются количественные показатели, если

только первые три — то качественные [140, с. 34].

Социологи, занимающиеся методологией построения

эмпирических показателей, пишут: «Наличие концепции

является теоретическим условием построения показате-

ля, независимо от проводимого исследователем «сжатия

информации», сведения индикатора в индекс.

Специфика показателя определяется не его структурой,

а его функцией в отношении диагностируемой модели

объекта действительности. При этом индикатор

выступает скорее качественной характеристикой, в

отличие от индекса-количе-ственной. Индикатор —

эмпирически устанавливаемый и измеряемый факт,

представляющий явление, малодоступное наблюдению и

измерению, индекс — инструмент измерения,

позволяющий «схватить» явление через его индикаторы»

[140, с. 35].

Под концепцией теста («батареи тестов») имеется в

виду определённая теоретическая модель

диагностируемого компонента знания или умения,

личностного качества. В этой модели должны быть

отражены представления разработчика теста о

141

Ч А С Т Ь П Е Р В А Я

структуре и основных элементах конкретного знания.

Соответствие концепции теста концепции учебного

предмета определяет концептуальную валидность

теста.

При конструировании заданий теста, как уже

отмечалось выше, следует прежде всего исходить из

диагностич-но сформулированных учебных целей и

соответствующего им уровня требований к обследуемым.

Предельно чётко должно быть определено, что требует

данное задание: восстановить в памяти дату, термин или

устройство какого-либо механизма; понимать какие-то

закономерности, правила и условия их применения (или

неприменения); умение анализировать ситуацию и т.п.

Через цели и задачи тестирования определяется

планка контроля, уровень её высоты. В США педагоги от-

мечают опасность постоянного «занижения планки» в

дидактической диагностике: при доминировании

нормативных тестов это ведёт к «бессмысленным

методическим подходам». В качестве примера они

называют тест минимальной компетентности, созданный

из-за низких средних баллов слабого по

демографическим показателям контингента [146, с. 215].

Чтобы диагностично сформулировать цель и за-

дачи тестирования, надо ориентироваться в типоло-

гии тестовых задач (заданий) в зависимости от

предмета, содержания, логики и формы построения

тестов. При этом необходимо исходить из места и

роли тест-задания в целостной системе теста как

диагностического средства контроля знаний

конкретного материала.

Г. Витцлак приводит установленные математиками-

методистами требования к решению линейных уравне-

ний, согласно которым учащиеся должны:

1) владеть понятием «уравнение»;

2) знать уравнения без переменных и с

переменными и уметь отличать их друг от друга;

3) знать следующие виды уравнений:

142

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

—тождественные уравнения: 8 — 5 = 4 — 1;

—уравнения с одной переменной: х — 5 = 4;

— уравнения с несколькими переменными:

Зх+у = 10;

4) знать эквивалентные уравнения;

4) уметь различать и правильно пользоваться знака-

ми, относящимися к уравнениям: «равенство» (=), «нера-

венство» (<>) и «соответствие» (<=>);

5) знать правила преобразования уравнений и уметь

ими пользоваться;

4) уметь осуществлять проверку решения;

5) уметь раскрывать скобки и заключать в скобки;

6) владеть четырьмя основными арифметическими

действиями с натуральными и рациональными числами

[119, с. 128].

Такие чёткие формулировки диагностических задач

ориентируют педагога на цодбор и построение

соответствующих учебному материалу (и задачам

диагностики) тестовых заданий различного типа.

Приведённые требования к решению линейных

уравнений сами по себе ещё не являются индикаторами

понятия «знание линейных уравнений». Это только

основа построения индикаторов. Следует определить

операционально, что понимается под выражением

«владеть понятием уравнение» —знать наизусть

определение? Уметь его распознать среди близких

определений? и т.п. по каждому из сформулированных

методистами требований.

Таким образом, «знание линейных уравнений», отра-

жённое в перечне его составных компонентов, — это «ог-

рублённая» концепция-модель. Детализируя её, надо со-

здать структурно-логическую схему с иерархией элемен-

тов диагностируемого знания, их внутренними взаимо-

связями (связи координации и соподчинения элементов).

Затем для углубления концепции-модели надо

разложить каждый составной элемент на его под

структурные диагностируемые под элементы,

определить координации и корреляции между ними,

143

Ч А С Т Ь П Е Р В А Я

провести факторный анализ и т.д. Социологи отмечают,

что «поиск эмпирических индикаторов — это не перевод

с одного языка на другой, например, с теоретического

языка на язык наблюдений. Это скорее поиск

эмпирических проявлений теоретической сущности

(если она неизвестна и введена в начале исследования в

виде гипотетической конструкции) через её эм-

пирические проявления. С онтологической точки зрения

эмпирические индикаторы как раз представляют собой

указанные проявления» [140, с. 56].

При построении эмпирически диагностируемой кон-

цепции-модели следует отказаться от привычной рас-

плывчатой терминологии. Однако даже опытные методи-

сты (Г. Витцлак — линейные уравнения) используют не-

корректную терминологию, малопригодную для диагнос-

тики без её конкретизации.

Наша задача — создать тест как надёжный и эффек-

тивный измерительный инструмент.

Для этого необходима операционализация понятий,

которыми пользуется педагог-диагност.

Операционализация понятий имеет, как отмечают

методологи, три уровня.

На первом уровне происходит определение понятий.

Операциональные определения могут фиксироваться как

двусторонние дедукционные предложения, содержащие

вероятностные связи между изучаемым явлением и его

индикаторами. Явление может представлять собой соче-

тание характеристик с высокой взаимной корреляцией и

обозначаться некоторым термином. Здесь используются

описательные определения. Полученные в них операцио-

нальные характеристики являются «индикаторами» по-

нятия по определению и в качестве таковых уже не

подлежат эмпирическому обоснованию.

Вторым уровнем является «измерение по определе-

нию», при котором последовательно выполняются следу-

ющие операции:

1) понятия переводятся в индикаторы;

144

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

2) индикаторы переводятся в переменные

(выбираются типы шкал и единицы измерения);

3) переменные переводятся в индекс (выбирается

техника конструирования индекса);

4) оценивается индекс с точки зрения надёжности

и обоснованности.

Третьим уровнем является особый тип вывода нена-

блюдаемого из наблюдаемого посредством

гипотетического конструкта, то есть разрабатываются и

используются специфические математические модели,

различного типа шкалы, модели факторного, латентно-

структурного или причинного анализа, с которыми

соотносятся данные индексов [140, с. 41-45].

Операционализировать понятие, характеризующее

диагностируемые знания или качества, — это значит

сформировать индекс и как систему инструкций,

средство операционального определения данного

понятия, и как картину данных, раскрывающую на

эмпирическом уровне состояние и тенденцию

интересующего нас явления.

Количество и характер отдельных заданий теста, ди-

агностирующего относительно самостоятельный, «кон-

цептуальный» элемент знаний, зависит от значимости

этого элемента в структуре диагностируемой

совокупности знаний.

Значимость диагностируемых элементов знания

можно определить методом экспертных оценок их «про-

центного веса» в общем объёме проверяемых знаний. По-

этому в методологически грамотно построенном тесте за

существенными различиями в индексах (в баллах или ко-

эффициенте) стоят существенные различия, явления в

необходимой диагносту прочности, объёме или глубине

усвоения диагностируемого элемента знания.

Особое значение имеет система оценивания выпол-

ненного задания. Тем более что советские педагоги поч-

ти шестьдесят лет знали только пятибалльную систему /

отметок.

145

Ч А С Т Ь П Е Р В А Я

Поскольку она и сейчас используется, несмотря на

более чем столетнюю её критику, для нашего педагога

важен вопрос — как соотнести полученные тестовые

баллы с привычными «двойками», «тройками»,

«четвёрками» и «пятёрками»?

Переводя результаты тестирования в «сырых

баллах» в пятибалльные оценки, О.Ф. Кабардин и А.Н.

Земляков считают, что оценка «4» может быть

использована как показатель полного освоения

общественно-необходимого минимума знаний (при 90%

правильных ответов), а для получения «5» учащийся

должен успешно выполнить итоговый тест повышенного

уровня, составленный из заданий на применение знаний

в незнакомой ситуации, их творческое использование

[55, с. 29].

Столь же важен и вопрос — как оценивать выполне-

ние каждого задания, особенно если задания различны

по степени сложности, по своей структуре и форме

построения (в профессионально составленном тесте они

именно такими и должны быть). Обратимся к западному

опыту.

Рассмотрим систему оценивания на примере адапта-

ции отечественными психологами очень интересного

Гей-дельбергского теста-батареи, выявляющего речевые

способности детей от 3 до 9 лет. Он диагностирует

«речелинг-вистическую» и «речепрагматическую»

деятельность. «Первое показывает, в какой степени

ребёнок усвоил систему языковых правил, а второе

требует от ребёнка овладения системой правил общения

с людьми. Речепрагма-тическая компетенция

представляет собой обобщённую способность —

результат единства речелингвистической, когнитивной и

интерактивной компетенции».

Система заданий оценивается как верные (1 балл) —

неверные (0 баллов) при понимании грамматических

структур (умение детей интерпретировать фразы типа

«собака кусает медведя, который схватил зайца»). При

классификации понятий (задание № 7) применяется тот

146

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

же подход, причём даже если в задании часть его

выполнена верно. При оценивании образования

ребёнком множественного числа имени

существительного иная система оценок: 2 балла —

полностью верный ответ, 1 балл — при ошибочном

употреблении нужного окончания (частично верный

ответ, 0 — совершенно неверный ответ). Аналогичная

система применяется для оценивания имитации

грамматических структур (максимально точном

повторении фраз, произнесённых экспериментатором);

при коррекции семантически неверных предложений,

словообразовании, вариации названий; при образовании

степеней сравнения прилагательных; при оценке

взаимосвязи ребёнком вербальной и невербальной

информации (взаимосвязь картинок и изображения

мужских лиц, в различных эмоциональных состояниях и

фраз, которые они могли бы произносить из

предложенного набора).

Иногда разработчики тестов и опросников дают 1

балл за неверные ответы — такое приходится встречать

в доморощенных диагностических методиках. На наш

взгляд, это ошибочно, ибо нарушается логика шкалиро-

вания. Подобный подход сохраняется. Однако учителя

говорят: «Ребёнок же работал, надо его труд как-нибудь

оценить!»

Конструирование теста даже при соблюдении всех

правил формулировки задания и подбора подсказок (в

тестах I уровня по В.П. Беспалько) автоматически не

гарантирует качество.

На практике при апробации даже профессионально

составленного теста, после его проверки как

измерительного инструмента, от первоначального

набора заданий редко остаётся половина имеющих

диагностическую ценность. Особенно если тест

рассчитан не только для внутреннего использования

разработчиками в своём классе или учебной группе, но и

для более широкого контингента, а также публикации

как эффективного диагностического инструментария.

147

Ч А С Т Ь П Е Р В А Я

Известны результаты сравнительной оценки матема-

тических и естественнонаучных знаний школьников 19

стран, проведённой американской научно-

исследовательской организацией Educational Testing

Service (она принимает вступительные экзамены в вузы

США и Канады у иностранцев, в том числе и в Москве).

Тогда при конструировании тестовых заданий,

приемлемых для всех стран, экспертами было

рассмотрено и обсуждено свыше 1500 различных

вариантов, пока не был разработан проект,

Удовлетворивший всех. Тест по математике для тринад-

цатилетних содержал 76 заданий, по естествознанию —

72 (из нескольких сотен обсуждённых вариантов) [122;

127].

При публикации тестов, связанных с решением задач

°тбора учащихся, перевода с курса на курс или в следую-

щий класс, считается необходимым приводить данные о

валидности, надёжности и репрезентативности выборки

апробации тестов, приёмы обоснования норм, мотивиро-

вать выбор вариантов ответов для тестовых заданий. Од-

нако собирать и обрабатывать такие данные имеет

смысл не по первоначальному варианту, а по

«повторному», который включает задания, уже

скорректированные в ходе спецификации теста и

проведённого первоначального эмпирического анализа

тестовых заданий.

Это позволяет сократить затраты времени при стан-

дартизации усовершенствованного варианта батареи

теста или диагностической программы.

Первоначально разработанный набор тестов

проходит обычно несколько циклов проверок,

предшествующих его публикации. Их количество и

трудоёмкость зависит от сложности целей

диагностирования, от разнообразия диагностических

задач разного типа, широты и личного опыта

разработчика в выполнении методологических задач.

Предупреждение многих ошибок тестирования воз-

можно уже на стадии разработки замысла теста и содер-

148

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

жания тестовых заданий. Негативные ситуации, возни-

кающие в процессе тестирования и снижающие диагнос-

тические возможности даже хороших методик, также

можно и нужно предупредить.

2.3. СПЕЦИФИКАЦИЯ ТЕСТА И ФОРМУЛИРОВКА

ТЕСТОВОГО ЗАДАНИЯ

Составлению заданий должна предшествовать

спецификация теста, позволяющая избежать

несбалансированности и диспропорции охватываемых

тестом тем курса.

А. Анастази отмечает, что при спецификации

следует предельно чётко определить учебные цели

изучения данного предмета и темы (по которым

составляется тест), основное их содержание и создать

таблицу, в которой всё это будет отражено с указанием

количества заданий по каждой пересекающейся точке

(например, содержание темы «Деньги и банковские

операции» по такому ее пункту, как «Формы и функции

денег» будет отражено в тестах, характеризующих

следующие учебные цели: знание основных терминов,

понимание концепций и основных законов, применение

принципов, интерпретация данных [8, с. 51].

Для этого составляется таблица, в которой в одной

колонке приводятся темы курса (подразделы темы), а в

других — учебные цели (знание терминов; знание

фактов, формул; понимание концепций и принципов;

умение применять принципы, умение интерпретировать

данные и т.д.)- В каждой колонке отмечается, сколько

тестов посвящается по каждой теме (разделу темы)

проверке достижения той или иной цели. Число заданий

должно соответствовать важности, объёму (широте)

темы и целям ее изучения.

Предварительно «по горизонтали» с помощью экс-

пертов, определяются объём темы (в часах), её значи-

мость для усвоения курса (при этом значимость может

не совпадать с объёмом в часах — например, тема

149

Ч А С Т Ь П Е Р В А Я

требует 15% учебного времени, но её значимость может

быть оценена как 5%, так и 25%).

Оценивается экспертами «по вертикали» значимость

достижения той или иной учебной цели (также в процен-

тах или в условных единицах). На основе анализа опыта

составления предметных тестов достижений А. Анастази

(США) отмечает такие обычные затруднения составите-

лей тестов.

Прежде всего — это отсутствие плана составления

теста, что приводит к неравномерному количеству

заданий по разным темам: одни из них будут

перегружены заданиями, а другие нет. Легче готовить

тестовые задания, требующие запоминания простых

фактов. Труднее — задания на критическую оценку или

обобщение, на применение изученных принципов к

новым ситуациям.

Чаще всего плохо построенные тесты перегружены

несущественными деталями и в них делается акцент на

механическую память.

К существенным недостаткам тестов по конкретным

Учебным предметам относятся также двусмысленность

или неясность формулировок. Правильные ответы в сис-

теме подсказок часто оказываются более

многословными (особенно в тестах, требующих выбрать

полный ответ из ряда в принципе правильных, но

неполных вариантов). Встречаются в тестах на

ассоциацию (чаще при проверке знания терминологии)

неудачно подобранные ассоциации.

А. Анастази приводит пример для термина «неле-

гальный».

Плохо составленное задание:

«Нелегальный:

несекретный,

незаконный,

сексуальный,

безграмотный *

150