Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ

совокупности, составляющей объект обследования)

могут несколько снизить надёжность выводов.

Вместе с тем, по мнению опытных социологов, при

определённых обстоятельствах несплошное

обследование позволяет получить гораздо более точные

результаты, чем сплошное. И именно потому, что

меньший объём изучаемой совокупности позволяет более

тщательно изучить каждый её элемент. Таким образом,

потребность в выборочном обследовании возникает в том

случае, когда контингент диагностируемых является

настолько большим, что осуществление сплошного

обследования становится нецелесообразным из-за

ограниченности материальных, человеческих и

временных ресурсов.

Однако здесь напрашивается следующий, практичес-

ки важный для диагноста, вопрос — какой должна быть

численность респондентов, определяющих вид

обследования? Точного ответа на него не существует.

Конечно, при определении того, какое именно

обследование необходимо провести — сплошное или

выборочное, следует учитывать и данные рекомендации.

Однако важно иметь в виду, что в каждом конкретном

случае исследователь должен принять самостоятельное

решение, учитывая при этом затраты на проведение

обследования, глубину и всесторонность изучения

объекта, задачи стандартизации методик, сложность

самого инструмента изучения поставленной проблемы

(теста, диагностической анкеты).

Стандартизированный тестовый комплекс для про-

верки знаний учащихся по какому-либо предмету должен

выверяться не на особо сильных или особо слабых, а на

том контингенте, который отражает статистика текущей

успеваемости. Методика формирования репрезентатив-

ных выборок хорошо описана в социологической и психо-

логической литературе [7; 53; 115].

Ч А С Т Ь В Т О Р А Я

В любом случае при стандартизации теста репрезен-

тативность выборки будет определять возможную сферу

его применения. Так, тест для проверки конкретного

раздела знаний по высшей математике или родному

языку, прошедший стандартизацию на контингенте

студентов одного факультета технического вуза, может

оказаться непригодным на физмате университета. Там

придётся пересматривать тестовые нормы, возможно,

перестраивать задания под структуру учебных курсов,

если только имеются существенные различия в учебных

планах и программах, в контингенте обучающихся. А

обычно они имеются, и очень существенные.

При оценке результатов нормативного теста всегда

используется определённая шкала норм. К. Ингенкамп

считает, что применительно к школьным тестам шкала

норм может быть признана достаточно информативной

лишь в том случае, если состав выборки по городам,

сельской местности, федеральным землям, полу

учащихся и т.п. пропорционален соответствующей

генеральной совокупности (выборки) и отбор внутри

перечисленных групп был случайным,

непреднамеренным [95, с. 52].

В педагогике и психологии обычно считается, что ми-

нимально репрезентативная выборка обследуемых для

проверки тестов должна включать 300-400 человек и

быть максимально приближённой по демографо-биогра-

фическим характеристикам к тому контингенту, на кото-

рый рассчитан тест (учащиеся городских или сельских

школ, соотношение их по половому признаку, по классу

или курсу обучения, данному предмету и т.д.).

В практике социологии применение выборочного ме-

тода рекомендуется в том случае, когда объект

насчитывает более 500 человек. В некоторых

литературных источниках обращается внимание на то,

что при совокупности в несколько десятков или сотен

человек выборочное исследование может не обеспечить

представительность данных.

192

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ

Встречаются и очень большие выборки — когда

стандартизируются национальные тесты (хотя это

огромная и долгая работа). В США рассчитанная на два

дня батарея тестов способностей и достижений,

интересов и темперамента проверена на выборке около

400 000 учеников IX-XII классов. При исследовании

эталонных тестов в США в начале 70-х годов в

соответствии с тщательно разработанной выборкой в 50

штатах было обследовано свыше 300 000 учеников IV-VI

классов. В сравнительном международном исследовании

математических и естественнонаучных знаний в одном

только бывшем СССР в 1990/91 учебном году

обследовалось по 3300 русскоговорящих учащихся из

110 школ всех республик (кроме Грузии и Узбекистана),

отобранных на основе случайной выборки с помощью

компьютера [122].

Калифорнийский психологический опросник имеет

шкалы, выработанные на нормативной выборке 6000

мужчин и 7000 женщин, различавшихся по возрасту,

социально-экономическому уровню и месту жительства.

По многим конкретным группам даются средние

значения и стандартные отклонения показателей, шкалы

взаимно высоко коррелируют (0,8 и выше). Не случайно

CPI считается одним из лучших личностных опросников

[7, с. 134].

В педагогике, к сожалению, очень часто практикам

предлагаются методики без каких-либо данных

стандартизации, описания результатов внедрения —

авторская реклама строится на обещаниях и эмоциях, а

не на фактах. То есть тест обладает очевидной, а не

критериальной или содержательной валидностью

(подробнее об этом — ниже).

Рассмотрим типичную ситуацию из практики

тестирования в среднеазиатских вузах. Выборка точно

рассчитана.

Некоторое (не важно в данном случае какое) общее

количество учащихся — студентов вуза (в тех же самых

Ч А С Т Ь В Т О Р А Я

учебных группах, которые были намечены) заполнили

тест. Но не учтена одна «мелочь» — выборка рассчитыва-

лась до сессии, а в сессию отчислили или перевели на за-

очное (отправили в академический отпуск) самых слабых

и группы были переформированы, сохранив «средних» и

«сильных» учащихся, чей удельный вес в составе группы

возрос из-за отсева слабых.

Кроме того, в Средней Азии этнопсихологией поощ-

ряются ранние браки. Лето и ранняя осень — пора

свадеб, а поэтому в марте отсутствует как минимум 30%

девушек, успешно окончивших первый, второй курс

(причём, не исключено, самых умных и старательных).

Результат — незапланированный сдвиг выборки. Си-

стематическая ошибка, связанная с сознательным отбо-

ром наиболее удобных или выигрышных «элементов»

(более сильных учащихся, студентов), обсуждалась

неоднократно в статистике в различных вариантах. Но

если она запланирована, значит, и тест заранее

получает серьёзные ограничения в сфере

рекомендуемого распространения, в противном случае

— налицо фальсификация результатов. Об этом

неоднократно упоминали А. Анастази [7] и Брайан

Саймон, обвинявшие английского классика школьного

тестирования Сирила Берса в прямой фальсификации

данных — правда, из-за фанатичной веры Берса в

диагностические возможности тестов интеллекта и

врождённую одарённость. Последнее отнюдь не

противоречит современным данным и биологии, и

психологии, но расходилось с официальной советской

доктриной о равенстве всех и равном праве на

образование.

Выборочное обследование необходимо именно из-за

ограниченности возможностей (и финансовых — каждый

бланк методики что-то стоит, и во времени — обследова-

ние не может быть бесконечным).

194

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ

4.3. ОСНОВНЫЕ ТЕРМИНЫ, ХАРАКТЕРИЗУЮЩИЕ ВЫБОРКУ

СТАНДАРТИЗАЦИИ ДИДАКТИЧЕСКОГО ТЕСТА

Для успешного расчёта необходимой выборки стан-

дартизации дидактического теста (а в социологии и экс-

периментальной психологии — любой методики) исполь-

зуется ряд понятий, достаточно тесно взаимосвязанных.

Генеральная совокупность — множество элементов,

объединённых общей характеристикой, указывающих на

их принадлежность к единой системе и изучаемых в рам-

ках какого-либо обследования и определённых терри-

ториально-временных границ.

Перечень всех элементов генеральной совокупности

составляет основу выборки, а те её элементы, которые

являются единицами счёта в различных процедурах

отбора, формирующих выборку, называются единицами

отбора.

Если в качестве генеральной совокупности выступа-

ют учащиеся какой-либо школы, то основой выборки мо-

гут быть их списки в классных журналах. Чем конкретнее

и однозначнее термины, в которых описана генеральная

совокупность, тем понятнее её границы. Так, вместо

расплывчатой формулировки «тест предназначен для

итогового контроля знаний по курсу математики для

старшеклассников» при описании диагностической мето-

дики лучше указать «для учащихся городских (или всех

без исключения) средних общеобразовательных школ,

кроме школ с математическим и физико-техническим ук-

лоном». Тогда совершенно ясно, что нормативы на уча-

щихся этих математических и прочих перечисленных

школ не распространяются.

Генеральная совокупность применительно к педаго-

гической сфере представляет собой именно ту совокуп-

ность (школ, учащихся, районов, городов и т.д.), на кото-

рую исследователь (диагност) хочет распространить

выводы проведённого им педагогического исследования

(тестирования).

Ч А С Т Ь В Т О Р А Я

Выборочная совокупность — часть генеральной сово-

купности, объекты которой являются основными

объектами обследования. Она отбирается с помощью

специальных методик и правил таким образом, чтобы её

характеристики отражали основные свойства

генеральной совокупности.

Отбор выборочной совокупности осуществляется по

основным признакам генеральных распределений

(принятое в науке более краткое определение факта и

процесса распределения признаков или признака в

составе генеральной совокупности), контролируемых

исследователем.

При этом подразумевается, что обеспечивается

репрезентация и по неконтролируемым признакам, т.е.

таким признакам, которые свойственны генеральной

совокупности, но не являются существенными для целей

и задач данного обследования (например, по

заболеваемости учащихся простудными заболеваниями

при диагностике учебных достижений школьников по

какому-либо предмету).

Формирование выборочной совокупности как иссле-

довательская процедура является ответственным

этапом проведения любого исследования, в том числе и

в сфере образования, требует определённых

профессиональных умений и навыков.

К сожалению, именно в системе образования не при-

нято на это вообще обращать внимание — даже в канди-

датских диссертациях по педагогике трудно найти

характеристики выборки, на которой авторы проводили

свои эксперименты и получили, как обычно подаётся,

великолепные результаты. А результаты ведь должны

подкрепляться данными о том, какова была выборка —

неясно, на какой контингент, кроме непосредственно

изученного самим исследователем, можно

распространять его выводы, не опасаясь грубой ошибки.

В педагогической и психологической диагностике

анализ основных характеристик выборочной совокупнос-

196

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ

ти, отбор методов её комплектования имеют большое

значение в процессе стандартизации и валидизации

тестовых методик, при разработке тестовых программ.

Выборка в строго научном понимании — это процесс

и результат формирования выборочной совокупности.

Она характеризуется следующими признаками:

1) числом ступеней отбора;

1) типом выделенных объектов репрезентации на

промежуточных ступенях отбора;

2) способом районирования (выделение в составе ге-

неральной совокупности определённых однородных её

частей, в каждой из которых по определённым правилам

осуществляется дальнейший отбор единиц наблюдения

— промежуточных или конечных, в зависимости от числа

ступеней в выборке объектов репрезентации, выде-

ленных на отдельных ступенях их отбора;

3) способом отбора объектов репрезентации и

единиц наблюдения на каждой ступени;

1) объёмом выборочной совокупности.

Первые четыре признака имеют непосредственное

отношение к типу выборки, т.е. к особенностям процесса

отбора единиц наблюдения. Пятый признак (объём выбо-

рочной совокупности) позволяет различать выборки в со-

ответствии с количеством единиц наблюдения.

Две выборки могут считаться подобными в том слу-

чае, если будут тождественными, с одной стороны,

характеристики, описывающие структуру процесса

формирования и расчёта выборочной совокупности, а с

другой — совокупность признаков, на основании которых

осуществлено районирование объектов репрезентации

на промежуточных ступенях отбора. Это особенно важно

при сравнении результатов обследований в разных

районах, городах, областях, при сравнительных

педагогических и психологических обследованиях.

Особо значимыми понятиями при определении

репрезентативности выборки апробации или

Ч А С Т Ь В Т О Р А Я

валидизации, проверки надёжности теста являются

единица отбора и единица наблюдения.

Единицей отбора называют элементы выборочной со-

вокупности, которые являются единицами счёта в раз-

личных процедурах отбора при формировании выборки. В

педагогических обследованиях единицами отбора могут

быть школа, класс, отдельные группы педагогов и уча-

щихся, являющиеся носителями каких-либо значимых

качественных признаков (учителя с определённым уров-

нем образования, квалификации и стажем, учащиеся

сельских и городских школ, «отличники», «хорошисты» и

«середняки»).

Единица наблюдения — это объект непосредственно-

го изучения. Чаще всего такой единицей наблюдения яв-

ляется отдельный педагог, учащийся или отдельная (спе-

цифическая) группа педагогов и учащихся. И единица от-

бора, и единица наблюдения представляют собой такие

социальные объекты, которые обладают характеристика-

ми, существенными для предмета обследования. Они мо-

гут совпадать и различаться.

В простых схемах отбора они совпадают. В сложных

такое совпадение может быть только частичным — на

верхних уровнях схемы отбора они различаются, на ни-

жних — совпадают.

Основа выборки — система взаимосвязанных

элементов генеральной совокупности, удовлетворяющих

требованиям полноты, точности, адекватности, удобства

работы, отсутствия дублирования единиц наблюдения.

Рассмотрим подробнее эти требования:

а) полнота. В составе генеральной совокупности

должны находиться все её элементы, иначе выборка

будет

смещена;

б) точность. Информация по каждой единице наблю-

дения должна быть реальной. Если, например, основой

выборки служат списки учащихся, то они должны быть

уточнены, чтобы в них не попали выбывшие учащиеся;

198

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ

в) отсутствие дублирования — каждая единица на-

блюдения не должна повторяться, т.е. попадать в список

дважды. В противном случае она может быть

воспроизве-

дена и в составе выборки;

г) адекватность. Основа выборки должна

соответство-

вать целям и задачам обследования. По существу,

пробле-

ма адекватности основы выборки — это проблема пра-

вильного определения (конструирования) генеральной

совокупности. Если педагог диагностирует уровень

усвое-

ния основных понятий по какому-либо предмету десяти-

классниками школы, то генсовокупность должны соста-

вить все учащиеся 10-х классов данной школы;

д) удобство работы. Единицы наблюдения, входящие

в генсовокупность, необходимо пронумеровать, а фами-

лии и инициалы чётко вписать в общий список.

Выборочный метод характеризуется определённой

технологией (специфическими процедурами, правилами

и техническими приёмами), применяемой при осуществ-

лении выборки.

В социальных и педагогических обследованиях вы-

борка — это не только математически-статистический, но

и социальный (педагогический) процесс. Иными словами,

критерии педагогического процесса также входят в

систему критериев, по которым осуществляется отбор

единиц наблюдения.

Всякое отклонение выборки от генеральной совокуп-

ности принято называть смещением выборки. Если

смещение выборки оказывается существенным, то надо

либо выполнить дополнительные расчёты и добрать

необходимый для апробации эмпирический материал,

либо повторно провести обследование, либо

довольствоваться тем, что сфера действия обоснованных

Ч А С Т Ь В Т О Р А Я

нормативов теста окажется более узкой, чем

первоначально планировалось.

Другое важное понятие — полнота выборки — пред-

ставленность в ней всех элементов генеральной совокуп-

ности в том структурном соотношении, которое имеется

в генеральной совокупности (например, юношей и

девушек при тестировании в школе, отличников учёбы и

слабоуспевающих учащихся и т.д.).

Прокомментируем на конкретных примерах и фактах

характеристики основы выборки при апробации ди-

дактических тестов.

Полнота выборки реально связана со знанием и учё-

том этнокультурной карты региона и соотношения поло-

возрастных и профессиональных групп. Специфические

экономико-географические условия южных регионов

России, особенно Ростовской и Волгоградской областей,

Краснодарского края и Ставрополья в последние годы

связаны с тем, что довольно резко изменяется их этно-

культурная карта.

Ранее, во времена застоя, полнота выборки в

социальных исследованиях не имела такого важного

значения, так как на одной территории проживал в

основном один и тот же народ, массовые переселения

практически не проводились.

С распадом СССР все изменилось. Региональная по-

литика среднеазиатских и прибалтийских республик, как

и этносоциальные конфликты на Кавказе, приводят к

вытеснению из этих регионов давно проживающего там

русскоязычного населения (в том числе со смешанными

по этническому составу семьями).

Это, несомненно, повлияет на нормативы

стандартизируемых дидактических тестов, так как дети

из многих семей мигрантов в местах своего прежнего

проживания получали образование нередко более

низкого качества, чем то, которое они,могут получить в

южнороссийских регионах.

200