Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

теста, его оптимальной композиции с точки зрения оче-

видной валидности (внешней представительности).

Когда же речь заходит о тесте в целом или субтесте в

структуре теста, о батарее тестов, то проблема

определения согласованности заданий связана с

аспектом экономичности теста, целесообразности

наличия в нём дублирующих заданий, диагностических

возможностей и направленности субтестов (или блоков

вопросов-заданий) внутри теста. Чаще всего

оказываются выгодны и необходимы низкие

коэффициенты селективности заданий.

3.3. ПСИХОЛОГИЧЕСКИЙ АНАЛИЗ ТЕСТА ПОСЛЕ

ПЕРВИЧНОЙ АПРОБАЦИИ

Проблемы психологического анализа теста после

первичной апробации связаны с его содержательной и

психологической валидизацией. Необходимость такого

анализа очевидна для разработчика, претендующего на

создание хорошего измерительного инструмента. К.М.

Гуре-вич отмечает, что, не зная, какими внешними и

внутренними приёмами добился работник искомого

результата, психолог не располагает сколько-нибудь

надёжными данными для прогноза: можно ли

рассчитывать, что работник сможет использовать те же

приёмы и в дальнейшем, каковы «ресурсы» работника,

если перед ним возникнут иные производственные

задачи? и т.п. [44, с. 114].

Психологический анализ предварительно должен

быть проделан ещё на стадии конструирования заданий,

когда оформлялся его замысел. При эмпирическом

анализе после первой апробации его необходимо

продолжать и уточнять, чтобы составить более ясное

представление о качестве теста.

Особого внимания требует анализ критериальных за-

даний, так как здесь педагогу-диагносту потребуется по-

мощь опытного психолога — в практической психодиаг-

ностике имеются проверенные рекомендации по анализу

критериальных заданий теста.

181

Ч А С Т Ь П Е Р В А Я

Так, психолог Е.И. Горбачёва предлагает алгоритм

анализа критериального задания, включающий:

1) установление совместно с учителем-

предметником области учебного содержания (должны

быть отобраны основные, базовые задания);

2) экспериментальную проверку содержания

критериального задания и заложенного в нём критерия

(наблюдение за затруднениями учащихся при

выполнении ими специальной серии заданий

возрастающего уровня сложности);

3) сопоставление полученных в эксперименте

данных о предполагаемом составе умственных действий

с итогами логико-психологического исследования

учебного материала; в результате выявляется

совокупность умственных действий, на основе которых

конструируется рабочий вариант теста. «В тест следует

включить субтесты, каждый из которых предполагает

актуализацию конкретного умственного действия» [75,

с. 77].

Для дидактической диагностики Ч. Куписевич реко-

мендует использовать анализ в форме табличного

сопоставления допущенных учащимися ошибок. В

таблицах типологизируются ошибки по данной теме

(разделу) и отмечается, какие из них и в каком

количестве были допущены. Сумма ошибок становится

основанием для итоговой оценки [68, с. 315-317].

182

183

184

ЧАСТЬ ВТОРАЯ

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ

ДИДАКТИЧЕСКИХ ТЕСТОВ

4. Репрезентативность

выборки апробации и

стандартизации теста

Дидактическое тестирование, особенно на стадии

разработки и доводки теста, должно подчиняться всем

научно-методическим правилам организации и

проведения эксперимента. Это относится как к

критериальным, так и к нормативным дидактическим

тестам.

В педагогической практике пока что доминируют

нормативные тесты, несмотря на призывы к разработке

критериальных тестов.

Затруднения с этим переходом на Западе связаны с

привычкой к хорошо адаптированным, пусть и несовер-

шенным, методикам, а также со сложностью разработки

и стандартизации самих критериальных тестов, с объём-

ностью и сложностью их создания на высоком методоло-

гическом уровне.

Качественных, проверенных на репрезентативных

выборках дидактических тестов авторы в России за по-

следние годы либо не публиковали, либо же издавали

малыми тиражами, которые стали достоянием

нескольких десятков или сотен пользователей. Кроме

того, при публикации тестов отсутствуют всякие

сведения о нормативах и способах их получения, данные

о выборках апробации, надёжности и обеспечении

валидности.

Также у нас нет и хорошо стандартизированных нор-

мативных тестов — ни в России, ни в других

государствах СНГ (откуда ещё доходят какие-то

публикации).

185

Поэтому, как показывает анализ запросов управлен-

цев образования, поощряющих разработки тестов

педагогами, актуально создание системы хотя бы

нормативных тестов для срезовой диагностики учебных

достижений по основным образовательным областям,

отражённым в базовом учебном плане средней школы и

временных государственных стандартах образования.

Причём все это надо сделать в сжатые сроки — полтора-

два года (как для основной школы, так и для полной

средней). Кроме того, надо успеть создать надёжные

измерители для рубежного контроля по каждому

предмету для каждого класса — с первого по выпускной.

Это отнюдь не так просто, как кажется

управленцам.

Нормативные тесты при подготовке к массовому

внедрению в учебный процесс (к публикации) надо пред-

варительно выверить для получения соотносительных

норм.

Необходимо стремиться к максимально репрезента-

тивной выборке. Ибо может оказаться, что тест, хорошо

решаемый девочками городских школ из семей служа-

щих, может иметь совершенно другие нормативы для

мальчиков из школ отдалённой сельской местности.

К сожалению, в программах педагогических училищ

и вузов вопросы методологии и методики научно-педаго-

гического исследования, педагогической диагностики —

в том числе и апробационного эксперимента —

реального отражения не находят, знания педагогов в

этой области приближаются к нулю. У психологов дела

обстоят несколько лучше, но ненамного.

Требование репрезентативности в психолого-педаго-

гических исследованиях постепенно начинает осозна-

ваться, но трактуется нередко весьма своеобразно —

иногда и вразрез с его подлинным смыслом. Так, при

характеристике исследования, проводившегося по одной

программе в течение 11 лет в средней школе № 2

Академии педагогических наук (пос. Черноголовка

Московской обл.), ежегодно анализировались

результаты обучения детей всех возрастов с I по X класс.

186

В школе более 50 классов и 1 тыс. учащихся, что

помогло обеспечить репрезентативность исследования и

научную достоверность выявленных закономерностей

[92, с. 18].

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ

Реально здесь имела место сплошная выборка и о ре-

презентативности можно говорить только относительно

учащихся данной школы. В какой-то степени выводы

можно экстраполировать на другие аналогичные по всем

основным параметрам школы этого региона. Но

достоверность обеспечивается не годами обследований

(даже в таком лонгитыодиональном исследовании) и не

количеством изученных учащихся, а качеством самих

методик и строгостью соблюдения процедур сбора и

обработки информации.

Для пополнения методологических знаний педаго-

гов, занимающихся проблемами диагностики, предлага-

ется следующий материал о задачах и проблемах обеспе-

чения репрезентативности при апробации дидактическо-

го теста.

4.1. ПОНЯТИЕ «РЕПРЕЗЕНТАТИВНОСТИ»

ВЫБОРКИ

Репрезентативностью в социальных науках называ-

ется свойство выборочной совокупности (контингента, на

котором проверялся тест) воспроизводить характеристи-

ки генеральной совокупности (то есть того контингента,

для которого предназначена методика, — со всеми его

существенными демографическими особенностями).

Для достижения репрезентативности нужны знания

основных характеристик генеральной совокупности, чёт-

кие описания целей обследования и того, насколько эти

характеристики являются значимыми с точки зрения ди-

агноста. К. Ингенкамп справедливо отмечает, что «ин-

формативность тестовых норм в значительной степени

зависит от того, насколько велика была выборка, была ли

она стандартизована или нормирована и, прежде всего,

каким образом она осуществлялась» [95, с. 51].

Одним из важнейших условий стандартизации теста

является установление, проверка и оценка его измери-

Ч А С Т Ь В Т О Р А Я

тельных возможностей путём апробации на репрезента-

тивных выборках.

Иначе все данные тестовых норм, надёжности и ва-

лидности теста окажутся весьма сомнительными — при-

чём неизвестно, в какой степени. С одинаковыми шанса-

ми на истинность суждения мы сможем оценивать такой

тест как гениальную разработку или продукт расстроен-

ного авторского воображения.

Репрезентативность выборки означает, что с опреде-

лённой заранее заданной погрешностью (которая научно

рассчитана и будет учитываться при анализе полученных

результатов) количественная и качественная структура

выборочной совокупности (распределение изучаемых

признаков у тех, кого мы обследуем с помощью теста) со-

ответствует аналогичной структуре генеральной

совокупности, представляет собой её миниатюрную

копию, в которой те же самые значимые признаки

распределены в той же пропорции или с минимально

допустимыми отклонениями.

Основные условия репрезентации выборки следую-

щие:

1) каждая единица генеральной совокупности

должна иметь равную вероятность попадания в выборку

(то есть если тест апробируется на старшеклассниках

Ростовской области, каждый из них потенциально может

попасть в выборку апробации);

2) отбор производится из однородных

совокупностей (в выборку теста для старшеклассников

ни в коем случае не должны попадать ни студенты

вузов, ни учащиеся младших классов, если только это не

предусмотрено планом выборки);

3) число единиц в выборке должно быть достаточно

большим;

4) выборка и генеральная совокупность должны

быть по возможности статистически однородны, раз-

рабатываться и определяться одними и теми же мето-

дами.

188

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ

4.2. РОЛЬ ВЫБОРКИ В СТАНДАРТИЗАЦИИ

ДИДАКТИЧЕСКОГО ТЕСТА

Каждый исследователь интуитивно стремится прове-

сти сплошное обследование на своём объекте, так как

именно оно позволяет чаще всего получить наиболее

качественную информацию, особенно при рубежной и

итоговой проверке качества знаний учащихся школы.

В строго научном смысле объект обследования пред-

ставляет собой определённое множество или совокуп-

ность элементов, на которые направлен активный позна-

вательный интерес исследователя (в нашем случае — ап-

робирующего тест диагноста), который желает устано-

вить какие-либо новые факты (новые нормативы или дан-

ные надёжности, критериальной валидности) и законо-

мерности, присущие данной совокупности.

Нас может, в частности, интересовать, какова

дифференцирующая возможность нового

(разработанного или купленного) дидактического теста

по математике для итогового контроля знаний учащихся

средней школы, специализированной математической

школы, технического лицея и гуманитарной гимназии.

В качестве элементов такого множества в социаль-

ных, психологических и педагогических обследованиях

объектом чаще всего являются обучающиеся (учащиеся,

студенты), но в отдельных случаях ими могут быть и пе-

дагоги. Например, при повышении ими квалификации в

институтах усовершенствования учителей, на курсах пе-

реподготовки и т.д.

Наибольший опыт проведения научных массовых об-

следований — у социологов, поэтому мы будем

пользоваться принятой у них профессиональной

терминологией.

Обследование называется сплошным, когда им пол-

ностью охвачены все элементы, составляющие объект-

Ч А С Т Ь В Т О Р А Я

Если диагностика уровня знаний учащихся по какому

либо предмету осуществляется в одном или нескольких

классах школы, то такое обследование может быть

сплошным, т.е. включать каждого школьника.

Однако проведение сплошного обследования в мас-

штабах даже одной школы практически неосуществимо

— кто-то заболел, кто-то испугался проверки и не при-

шёл и т.д. 100% намеченных для обследования учащихся

почти никогда не удаётся собрать. А если речь идёт об

учащихся школ района, города, области, оно становится,

по существу, невозможным из-за непомерно больших из-

держек различного рода, с которыми связано проведение

обследования на крупном по численности респондентов*

объекте. В самом деле, чем большее количество обследо-

ванных тестом учащихся вовлечено в сферу диагностиро-

вания, тем больше потребуется организаторов и лиц, не-

посредственно проводящих диагностику, времени на

проведение обследования и обработку полученных

данных, а также валидизацию методик, средств на

изготовление инструментария** и покрытие

транспортных расходов в том случае, если объекты

обследования расположены на значительном удалении

друг от друга.

В этих условиях единственно правильным будет

проведение не сплошного, а выборочного обследования.

Его суть состоит в том, что исследователь изучает не все

единицы, составляющие объект, а только их небольшую

часть, отобранную по специальным правилам.

Полученные же результаты и выводы он распространяет

затем на всю исходную совокупность. Неизбежно

возникающие при этом так называемые стохастические

ошибки (такие, которые внутренне присущи

выборочному обследованию и связаны со случайным,

вероятностным характером отбора единиц из

*Респонденты — широко используемый в эмпирических психо-

логических и социологических исследованиях термин (от англ.

respond отвечать — тот, кто отвечает на вопросы диагностической

анкеты или

Ыполняет тестовые задания). В дидактическом

обследовании респондентами, как правило, являются учащиеся,

студенты.

** Инструментарием

принято называть систему методических и

Хнических приёмов обследования, представленную в форме

разнооб-

ных документов-инструкций, опросных листов, анкет,

текстов тес-

и бланков для их заполнения и др.

190