Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ

Стандартизированные тесты делаются не для

разового использования, не на пару лет, а на

десятилетия — иначе не оправдывают себя затраты по их

методологической проработке, валидизации на

репрезентативных выборках. Наметившуюся тенденцию

надо учитывать своевременно — при разработке и

стандартизации тестов — и принимать меры,

аналогичные тем, что принимаются в США для учёта

интересов социальных и этнокультурных меньшинств.

Там персонал в фирмах, занимающихся разработкой тес-

тов, «специально тренируется на умении выявлять мате-

риал, задевающий национальные чувства, рассчитанный

на определённую культуру или в чём-то стереотипный.

Представители разных этнических групп принимают уча-

стие в создании тестов либо как постоянные служащие,

либо как консультанты. Проверка содержания теста с

точки зрения возможного участия меньшинств является

непременным этапом в процессе создания теста» [7, с.

63]. И эта работа ведётся давно — уже в 1964 г. в США

вышло профессионально составленное «Руководство по

тестированию детей национальных меньшинств».

Отсутствие дублирования выборки — важный момент

в определении ее качества. При дидактическом тес-

тировании это ситуация специфичная. Вряд ли не заме-

тят экспериментаторы, если одна группа по одному вари-

анту теста будет обследована дважды, а другая — ни

разу. Но подмена одного студента другим вполне

возможна либо из-за личных опасений самих студентов

(вдруг отчислят), либо из-за нежелания (куратора,

например) «подставлять» слабых студентов (если

диагност не знаком с составом группы). Ведь такое

встречается даже на строго контролируемых

вступительных экзаменах в вуз (и в инструкциях к

американским тестам оговорены различные меры

предупреждения подобных ситуаций).

Ч А С Т Ь В Т О Р А Я

Точность информации по каждой единице определя-

ет качество получаемых результатов. Она может быть

нарушена:

а) при невнимательной обработке (ручной или на

микрокалькуляторе, компьютере) теста типа «карандаш-

бумага»;

б) из-за сбоев машины при компьютерном тестирова-

нии;

в) из-за низкого качества бланков при традиционном

способе и т.д.

Адекватность выборки для решения конкретных за-

дач — весьма деликатный вопрос. Даже при смещениях

выборки (например, резком увеличении доли «сильных»

учащихся) многие показатели теста — его содержатель-

ность, психологическая валидность, надежность могут

сохранять своё значение.

Диагностам, обнаружив такое смещение, стоит заду-

маться — переносить процедуры тестирования на другой

срок или воспользоваться тем, что есть, а потом добрать

материал в соответствии с планируемой выборкой.

Адекватность выборки может изменяться независимо

от качества работы, проведённой создателем теста, —

если резко меняется за несколько лет

социодемографичес-кая ситуация.

Удобство работы с выборкой — существенный орга-

низационно-методический фактор, из-за которого диа-

гност нередко изменяет первоначальный вариант точно

рассчитанной выборки (что бывает связано с

систематическими ошибками выборки).

Объём выборки, зависит от числа признаков, относи-

тельно которых она производится и должен быть велик

настолько, чтобы в каждую выделенную группировку по-

пало достаточное количество элементов [123, с. 266].

4.4. ОСНОВНЫЕ ВИДЫ ВЫБОРОК И

МЕТОДИКИ ИХ РАСЧЁТА

202

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ

Для более полной ориентации в вопросах

репрезентативности выборок апробации тестов

педагогу-экспериментатору необходимо иметь хотя бы

общее представление о том, каковы бывают основные

виды выборок и методики их расчёта. Существует

несколько вариантов подхода к построению выборки —

простая (или случайная), квотная, систематическая

вероятностная, серийная (»гнездовая»).

Социологи считают, что выборки при небольших ге-

неральных совокупностях можно осуществить двумя спо-

собами:

а) простая повторная выборка, при которой на кар-

точках указываются номера респондентов; карточки пе-

ремешиваются; вслепую вынимается карточка, записы-

вается её номер; затем карточка возвращается в колоду

снова все карточки перемешиваются. При выборке 5 еди-

ниц из 50 операция повторяется 5 раз;

б) простая бесповторная выборка, при которой отоб-

ранные карточки откладываются [53, с. 271].

Для простой вероятностной выборки требуется пере-

чень всех единиц генеральной совокупности, что можно

сделать только в локальных исследованиях в рамках

школы, небольшого города или компактного микрорайо-

на [53, с. 275].

Квотная выборка представляется как модель гене-

ральной совокупности в виде квот (пропорций) распреде-

ления изучаемых признаков (сколько лиц с какими зара-

нее заданными исследовательской программой характе-

ристиками надо опросить).

Систематическая вероятностная выборка— это упро-

щённый вариант вероятностного отбора. В основе

выборки, как правило, — различные алфавитные списки

картотеки и т.п. Отбор единиц осуществляется через

один и тот же интервал из исходного алфавитного или

пронумерованного списка возможных кандидатов в

обследуемые.

Ч А С Т Ь В Т О Р А Я

Систематическая выборка — экономный и удобный

способ формирования выборочной совокупности.

Следует учитывать возможность систематического

распределения в списках единиц различного типа,

повторяемости в их распределении, которая может

совпадать с величиной интервала отбора, равной К

(пример смещения — ведомость на зарплату,

составленная в порядке её уменьшения, или список

учащихся, составленный по их учебному рейтингу, — как

раньше было в царской России и теперь восста-

навливается в ряде учебных заведений, перешедших на

тестовую систему контроля знаний). Эту выборку лучше

использовать при однородной генеральной совокупности

[123, с. 277].

Серийная (»гнездовая») выборка. Единицы отбора —

это статистические серии, т.е. совокупности

статистически различимых единиц (семья, бригада,

учебная группа). Отобранные в выборку серии

подвергаются сплошному обследованию. Серийная

выборка может организовываться" по схеме простой,

случайной и систематической выборки или

формироваться после предварительного районирования

генеральной совокупности. При этой выборке обычно

происходит занижение дисперсии изучаемого признака,

в силу определённого сходства единиц в сериях.

В педагогической диагностике серийная выборка

применима при обследовании целых школ в районе, клас-

сов — в школе. Получена будет и избыточная информа-

ция, но это органический порок данного вида выборки.

Серийный отбор будет тем репрезентативнее, чем

меньше степень изменений серийных средних,

измеряемая величиной их дисперсии [53, с. 278-281].

Если тест создаётся самими учителями, то к расчёту

выборки лучше привлекать опытных социологов или ву-

зовских учёных, владеющих методами математической

статистики (хотя добросовестное знакомство с

учебником статистики позволит это сделать и педагогу).

204

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ

4.5. ОШИБКИ И СМЕЩЕНИЕ ВЫБОРОК

Независимо от вида выборки возможны и естествен-

ны ошибки репрезентативности.

Случайные ошибки наблюдения, возникающие в

ходе проведения диагностического обследования на

достаточно большой выборочной совокупности

(несколько сот или тысяч учащихся при массовой

проверке результатов обучения на уровне большого

района или области), как правило, носят

непреднамеренный характер. Из-за недостаточной ква-

лификации и/или невнимательности в работе

диагностов.

Такие ошибки связаны с неполнотой охвата

подлежащих регистрации единиц обследования,

пропуском или неясностью записи, неточностями

кодирования или подсчёта. Это приводит как к

преувеличению, так и преуменьшению истинного

значения измеряемой переменной.

Опасны такие ошибки при небольших, точно рассчи-

танных выборках, так как при масштабных обследовани-

ях случайные ошибки наблюдений имеют тенденцию к

взаимопогашению. Например, если в начале списка об-

следуемых были пропущены две фамилии учащихся, а в

конце столько же записаны дважды, то на общий резуль-

тат при выборке в 600-1000 человек это существенно не

повлияет. Если же число обследуемых будет в 5-10 раз

меньше, то весомость ошибки может проявиться неточ-

ностями не в сотых долях процента, а в процентах (в за-

висимости от вопросов и особенностей распределения

ответов).

Случайные ошибки наблюдений трудноустранимы, их

нельзя исключить в каждом из результатов измерений.

Но с помощью теории вероятности, хорошо разрабо-

танной применительно к социальной статистике, можно

определять степень их допустимого воздействия на ко-

Ч А С Т Ь В Т О Р А Я

нечные полученные результаты, степень

целесообразного доверия этим результатам.

Систематические ошибки обусловлены неслучайны-

ми, вполне определёнными причинами, такими, как:

а) Неадекватность сформированной выборки целям и

задачам исследования. Например, нам надо выявить,

среди прочих факторов, взаимосвязь уровней доходов в

семьях и успеваемости учащихся. Но при отборе семей в

выборку учитывались лишь доходы главы семейства по

основному месту работы — без учёта прибылей от

продажи продукции приусадебного участка, заработка

матери и пенсии ветеранов — членов семей. Адекватная

картина явно не будет получена даже с помощью самой

хорошей анкеты — выборка смещена весьма

существенно. Ведь в шахтёрских районах с постоянными

задержками зарплат нередко матери, работавшие в

образовании, медицине, или ветераны-пенсионеры

временами были кормильцами, чьи деньги

поддерживали семью.

б) Неправильное определение генеральной совокуп-

ности.

Допустим, диагност хотел определить роль платных

образовательных услуг в городе для усвоения учащимися

иностранного языка. В состав генеральной совокупности

включены были не только школы, оказывавшие такие ус-

луги по английскому и немецкому языкам, но и те, где

подобные услуги осуществлялись только по математике

и естественным наукам. Из-за лишних единиц

наблюдения данные получатся сдвинутыми в сторону

явного преуменьшения значения исследуемого фактора.

в) . Отсутствие информации о характере распределе-

ния признаков в генеральной совокупности. Пример:

цель обследования — изучить характер влияния инфор-

мированности учащихся о новейших открытиях в физике

на усвоение знаний по этому предмету и ориентацию на

профессии технического профиля.

206

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ

Чтобы пропорционально представить в выборке груп-

пы учащихся, различающиеся по данному признаку, надо

иметь материалы систематической диагностики инте-

ресов и склонностей учащихся, а таковых материалов в

школах обычно нет. В небольшом районе с компактным

проживанием можно попытаться провести предваритель-

ное обследование, но в большом городе трудозатраты на

него могут оказаться непомерно велики и, возможно,

временно стоит отказаться от поставленной цели

главного обследования.

г) Сознательный отбор лицом, проводящим обследо-

вание, тех респондентов, которые не входят в состав вы-

борки, но удобны ему в качестве объекта изучения. На-

пример, вместо попавших в выборку, но отсутствующих

на день обследования учащихся тестируются их товари-

щи из параллельного класса. При этом, однако, может

быть нарушена тщательно подобранная пропорциональ-

ность групп отличников и слабоуспевающих, детей из

се-

мей мигрантов и многодетных семей и т.д.

д) Занижение объема выборки. Нередко происходит,

когда диагност обследует реципиентов, территориально

да-

леко живущих друг от друга. Из-за нехватки времени и

средств на транспорт исполнители обследования

произвольно изымают из выборки далеко живущих

реципиентов, чем, естественно, нарушают замысел

организаторов обследования, что приводит к

существенным ошибкам выборки.

Опасность систематических ошибок выборки в том,

что они искажают состав выборочной совокупности лишь

в одну сторону — преувеличения или преуменьшения

истинных значений признака. Так, при тестировании,

проводимом органами управления образования, учителя

нередко отправляют домой заведомо слабых учащихся,

чтобы не портить картину по школе — явно искажая тем

Ч А С Т Ь В Т О Р А Я

самым реальные результаты своей образовательной

деятельности.

Систематические ошибки выборки, носящие проце-

дурно обусловленный характер, то есть возникающие в

процессе самого обследования естественным путём,

легче поддаются корректировке с помощью известных

технических приёмов, а также поправочных

коэффициентов. С этой целью, после того как

исследование проведено, сначала производится внешний

контроль качественный и количественный.

Качественный контроль предусматривает оценку по-

лученных данных с точки зрения наличия тех признаков,

которые определены программой выборки (пол, возраст,

социальное происхождение, успеваемость и т.п.). Его за-

дача — найти и исправить ошибки в подсчётах и оценить

реальный объём выборки в целом и по отдельным

параметрам, пропорциональность задуманного выборкой

представительства отдельных групп обследуемых.

При обнаружении сколько-нибудь значимых расхож-

дений целесообразнее сразу же провести

дообследование, для чего потребуется дополнительный

отбор единиц наблюдения из генеральной совокупности

и необходимые исследовательские процедуры.

Никакое увеличение объёма выборки за счёт

удобных реципиентов здесь не поможет — смещение

выборки даст в итоге неверные выводы и может сделать

бессмысленным всё кропотливо подготовленное

обследование.

5. Надёжность теста и приёмы

её определения

А.А. Анастази определяет надежность теста как «со-

гласованность показателей, полученных у тех же самых

испытуемых при повторном тестировании, тем самым те-

стом, или эквивалентной ее формой» [7, с. 35].

Надёжность проверяется относительно временных

изменений, выбора конкретных заданий, тестовой выбор-

208

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ

ки поведения (каких-либо индикаторов), роли индивиду-

альности экспериментатора или специалиста при обра-

ботке данных или относительно других аспектов

тестирования.

Вычисление ошибки измерений — вероятных преде-

лов колебаний измеряемой величины — полностью осно-

вано на понятии надёжности.

Дисперсия ошибок может увеличиваться при любых

изменениях условий проведения теста (если только они

не имеют отношения к цели тестирования). Поэтому

даже в оптимальных условиях ни один тест не является

абсолютно надёжным.

Стандартный набор данных о тесте,

предназначенном для широкого употребления,

обязательно должен включать сведения о мере его

надёжности.

Надёжность обычно вычисляется с помощью коэф-

фициента корреляции произведения моментов К. Пир-

сона (его можно найти в любом статистическом справоч-

нике).

Дидактическая тестология должна воспользоваться

всем богатством методологического аппарата современ-

ной психодиагностики, особенно педагогической.

Педагогу, апробирующему свой или чужой тест и пе-

репроверяющему нормативы на своих классах, важнее

всего владеть ретестовой надёжностью и надёжностью

эквивалентных форм.

Следует учесть при определении надёжности

стандартизируемых дидактических тестов мнение Г.

Витцлака о том, что «степень надёжности

психодиагностического метода зависит от трёх условий:

объективности метода, однородности тестовых заданий

и стабильности свойств личности, подлежащих

измерению. Поэтому традиционная практика проверки

надёжности оказалась малопригодной, что вызывает

необходимость создания новых моделей её

определения».

Ч А С Т Ь В Т О Р А Я

Надо заметить, что при этом следует особое

внимание обратить на критерий пользы,

целесообразности — об отношении «затраты — польза».

Нет смысла разрабатывать сложные дорогостоящие

методики, когда работают простые [106, с. 135].

5.1. РЕТЕСТОВАЯ НАДЁЖНОСТЬ

Существуют различные типы надёжности и подходы

к их вычислению.

Один из наиболее распространённых способов

проверки надёжности — это ретестовая надёжность,

измеряемая при повторном проведении того же самого

теста на том же контингенте и в тех же условиях.

Ретестовая надёжность по своей сути и форме

близка педагогам, так как её аналогом в школе является

проверочная контрольная работа, проводимая повторно в

тех случаях, когда результаты первой контрольной

кажутся сомнительными.

Дисперсия ошибки (корреляция между данными двух

сеансов тестирования) при этом отражает случайные

колебания в выполнении теста, вызываемые неконтроли-

руемыми факторами. Например, изменениями погоды,

неожиданными отвлекающими моментами и шумами, из-

менениями в состоянии испытуемых — как бывает при

эпидемии гриппа, эмоциональном напряжении из-за зна-

чимых для групп обследуемых событий и т.п.

Ретестовая надёжность для интервальных рядов

под-считывается по коэффициенту корреляции моментов

Пирсона.

Чем выше ретестовая надёжность, тем менее

чувствительны результаты к обычным изменениям

состояния ис-

7-2976

210