Лекции - Современные средства оценивания результатов обучения

Подождите немного. Документ загружается.

Cсовременные средства оценивания результатов обучения.

Вопросы к зачету

1. Что в педагогике понимается под средствами обучения?

2. Раскройте дидактические функции средств обучения.

3. Какие средства обучения относят к материальным, к идеальным?

4. Назовите средства обучения математике.

5. Что понимается под мониторингом качества образования?

6. Какова основная цель педагогического мониторинга?

7. Перечислите недостатки «традиционного» мониторинга.

8. Какие меры по повышению качества образования предпринимаются в

отечественном образовании?

9. Перечислите основные направления деятельности федеральной системы

тестирования.

10. Раскройте основные понятия в области педагогического тестирования.

11. Чем отличаются критериально- и нормативно- ориентированные тесты?

12. Раскройте критерии качества теста

13. Какие виды тестовых заданий существуют. Приведите примеры.

14. Что понимается под трудностью и сложностью задания?

15. Сколько уровней трудности выделяют? Раскройте каждый уровень.

16. Перечислите основные требования к тестовым заданиям.

Ответы.

Критерии качества теста

Анализ научных работ ученых-педагогов и психологов показывает, что не всякая

задача может стать тестом: она должна отвечать ряду требований и

соответствующим критериям. В тестологии в классической и современной теории

тестирования выделены следующие основные критерии качества теста: надежность,

валидность, объективность.

Надежность. Надежность теста как один из критериев качества теста

показывает, насколько точно измеряет данный тест изучаемое явление.

Качественный тест, отмечает Н.А. Майоров, не может быть создан без тщательного

изучения этого важного аспекта измерения. Надежность определяется, как правило,

после окончания анализа задач и составления окончательной формы теста. Согласно

исследованиям А.Н. Майорова, не может быть создан без тщательного изучения этого

важного аспекта измерения. Надежность определяется, как правило, после

окончания анализа задач и составления окончательной формы теста. Согласно

исследованию А.Н. Майорова надежность характеризует точность теста как

измерительного инструмента, устойчивость его к действию помех (состояния

испытуемых, их отношения к процедуре тестирования и так далее). Сущность

термина «надежность» А.Н. Майоров раскрывает с позиций психологии. Этот термин

применяется в двух значениях. Тест называется надежным, если он является

внутренне согласованным. Тест также называется надежным, если он дает одни и те

же результаты для каждого испытуемого при повторном тестировании (ретестовая

надежность). Внутренняя согласованность - это характеристика теста, указывающая

на степень однородности состава заданий с точки зрения измеряемого качества (то

есть все задания теста должны определять тестируемое качество).

Метод повторного тестирования (ретестирование) является основным при

определении надежности психологических тестов. Для достижений, согласно

А.Н.AМайорову, наиболее приемлем метод определения надежности при тестировании

параллельной формой теста. На эти концептуальные идеи мы опирались в процессе

составления тестовых заданий в ходе исследования.

Валидность. Сущность этого понятия раскрывает, насколько полученные в

результате тестирования результаты соответствуют объективной реальности. В

современной тестологии, согласно исследованиям А.Н. Майорова, выделяют

следующие виды валидности: очевидная валидность; валидность по содержанию

(содержательная); конструктная (концептуальная); валидность по критерию

(критериальная или эмпирическая валидность); сравнительная или конкурентная

валидность.

Объективность. Результаты тестирования не должны зависеть от того, кто их

про водит или условий проведения. Условиями повышения объективности

тестирования является повышение уровня обоснованности, как самих тестов, так и

методов их разработки, использования современной техники хранения и передачи

тестовых материалов, последовательная работа по устранению возможностей

намеренного тестового процесса.

Критериально- и нормативно ориентированные тесты

В современной отечественной системе тестирования сложились два основных

подхода к анализу результатов тестирования, которые отражают разные основания

для сравнения и определяют разницу на большинстве этапов создания теста:

1. Критериально-ориентированный подход, в рамках которого разрабатываются

тесты, ориентированные на критерий.

2. Нормативно-ориентированный подход, в рамках которого разрабатываются

тесты, ориентированные на норму.

Понимание критериальной и нормативной ориентированности как разных

методологий интерпретации результатов тестирования можно найти у В.С. Аванесова:

“Для критериально-ориентированной интерпретации вывод выстраивается вдоль

логической цепочки: задания  ответы  выводы о соответствии испытуемого

заданному критерию, для нормативно-ориентированной ориентации логика по-

строения вывода иная: задания  ответы  выводы о знаниях испытуемого  рейтинг,

понимаемый как вывод о месте или ранге испытуемого” [3, с. 43].

Нормативно-ориентированный подход дает возможность для сравнения учебных

достижений (уровень подготовки, уровень профессиональных знаний и умений)

отдельных испытуемых друг с другом. Сравнимость достигается путем сопоставления

результата каждого учащегося с результатами других, выполнивших тот же самый

тест.

Критериально-ориентированный подход позволяет оценивать, в какой степени

испытуемые овладели необходимым учебным материалом. Тесты, разработанные в

рамках этого подхода, помогают собрать полную и объективную информацию об

учебных достижениях каждого учащегося в отдельности; сравнить знания, умения и

навыки ученика с требованиями, заложенными в государственных образовательных

стандартах; оценить эффективность профессиональной деятельности отдельных

преподавателей, а также различных программ обучения (подробнее об этом см. гл. 3,

разд. 3.1).

Нормативно-ориентированный и критериально-ориентированный подходы

различаются на всех этапах разработки теста с момента определения содержания до

момента интерпретации результатов.

Первое различие — цель создания теста. Нормативно-ориентированные тесты

создаются для того, чтобы получить возможность для сравнения испытуемых в той

области содержания, для которой предназначен тест. Для этого используются

нормативные или стандартные шкалы. Критериально-ориентированные тесты

составляются с целью аттестации результатов испытуемого в соответствии с обла-

стью определенных знаний, умений и навыков. Результаты критериально-

ориентированного тестирования могут быть использованы для:

 оценки итогового уровня обученности испытуемого, соответствия этого уровня

государственным образовательным стандартам или программе обучения;

 отбора студентов, достигших необходимого уровня обученности, в том числе и

профессиональной компетентности;

 оценки эффективности программы обучения в том или ином учебном заведении;

 сравнения между собой уровней подготовки студентов, однако в этом случае

можно получить сравнительно низкую надежность, если распределение баллов

однородно и имеет малую вариацию.

Второе различие состоит в уровне детализации области содержания. Создатели

критериально-ориентированных тестов должны подготовить значительно более

детализированную спецификацию содержания, чем составители нормативно-

ориентированных тестов. Это необходимо для того, чтобы пользователи теста были

уверены в адекватной интерпретации тестовых баллов.

Третье различие лежит в плоскости проведения статистической обработки

результатов тестирования. Обработанные баллы по результатам нормативно-

ориентированного тестирования базируются на статистических данных нормативной

группы, т. е. специфической, достаточно большой выборке испытуемых. В

большинстве случаев для этого типа тестов применяются специальные нормативные

шкалы. Обработанные индивидуальные баллы по результатам критериально-

ориентированного тестирования не относятся к какой-либо нормативной группе или

выборке испытуемых. Индивидуальный балл испытуемого интерпретируется по

отношению к доле учебного материала, успешно им освоенного. Чаще всего балл

студента отражает процент правильно выполненных заданий и выражается в шкале

процентов.

Четвертое основное различие лежит в плоскости технологии анализа и отбора

тестовых заданий. В нормативно-ориентированных тестах статистические показатели

тестовых заданий (уровень трудности и различающая способность) играют

определяющую роль в их отборе. В общем случае задания со средним уровнем

трудности и высокой различающей способностью имеют больший шанс быть

отобранными для использования в тесте этого типа, т. к. они вносят существенный

вклад в вариацию индивидуальных баллов студентов. Надежность теста в общем

случае будет выше, если вариация тестовых баллов увеличится. Напротив, в

критериально-ориентированных тестах статистические характеристики (уровень

трудности и различающая способность) заданий не являются основной причиной для

включения их в состав теста. Главное условие отбора заданий в критериально-

ориентированный тест — их соответствие спецификации и элементу содержания.

Статистические характеристики тестовых заданий используются для составления

параллельных форм критериально-ориентированных тестов и для выбора

оптимального стандарта оценивания.

Пятое отличие заключается в особенностях применения тестов. Критериально-

ориентированные педагогические тесты применяются для того, чтобы

интерпретировать результат тестирования в соответствии с уровнем обученности

испытуемых на хорошо определенной области содержания. Нормативно-

ориентированный подход чрезвычайно полезен, когда необходима информация об

испытуемом, связанная с его относительными способностями или относительной

обученностью по сравнению с другими испытуемыми.

Понятие о средствах обучения математике и их классификация

В педагогике сегодня нет однозначного определения понятия «средства обучения».

Большинство педагогов сходятся на том, что под средствами обучения следует

понимать разнообразнейшие материалы и орудия учебного процесса, благодаря

использованию которых более успешно и за рационально сокращенное время

достигаются поставленные цели обучения.

Главное дидактическое назначение средств - ускорить процесс усвоения учебного

материала

 Согласно П.И.AПидкасистому, средство обучения – это идеальный или

материальный объект, который используется для освоения знаний,

формирования опыта познавательной, практической и учебной деятельности.

Дидактические функции средств обучения:

 -1- уменьшение затрат времени на организацию обучения;

 -2- передача необходимой для обучения информации;

 -3- рассмотрение изучаемого объекта по частям и в целом;

 -4- обеспечение деятельности учащихся и педагога.

В педагогической литературе выделяют две большие группы средств обучения:

 средство - источник информации и

 средство - инструмент освоения учебного материала.

Тогда можно сказать, что средствами обучения называются все объекты и процессы

(материальные и материализованные), которые служат источником учебной

информации и инструментами для усвоения содержания учебного материала,

развития и воспитания учащихся.

Средства обучения классифицируют по различным основаниям:

 по их свойствам,

 субъектам деятельности,

 влиянию на качество знаний, на развитие различных способностей,

 их эффективности в учебном процессе

По составу объектов средства обучения разделяются на материальные и

идеальные.

 К материальным средствам относятся: учебники и пособия, таблицы, модели,

макеты, средства наглядности, учебно-технические средства, учебно-

лабораторное оборудование, помещения, мебель, оборудование учебного

кабинета, микроклимат, расписание занятий и другие материально-

технические условия обучения.

 Идеальные средства обучения – это те усвоенные ранее знания и умения,

которые используют учителя и учащиеся для усвоения новых знаний.

В качестве идеальных средств обучения выступают общепринятые системы знаков:

язык (устная речь), письмо (письменная речь), система условных обозначений

различных дисциплин (нотная грамота, математический аппарат и др.), достижения

культуры или произведения искусства (живопись, музыка, литература), средства

наглядности (схемы, рисунки, чертежи, диаграммы, фото и т.п.), учебные

компьютерные программы, организующе-координирующая деятельность учителя,

уровень его квалификации и внутренней культуры, методы и формы организации

учебной деятельности, вся система обучения, существующая в данном

образовательном учреждении, система общешкольных требований.

В общем случае, идеальное средство - это орудие освоения культурного наследия,

новых культурных ценностей (Л.С. Выготский

 Согласно исследованиям психологов и методистов, обучение становится

эффективным в том случае, когда материальные и идеальные средства

обучения используются вместе, дополняя и поддерживая друг друга.

К средствам обучения математике относятся:

Наглядные пособия (модели геометрических тел, таблицы, схемы, чертежи,

диаграммы и др.).

2. Дидактические материалы (раздаточный материал, например, карточки,

дидактические пособия, содержащие КИМы и указания к ним. Это сборники

контрольных и самостоятельных работ, тесты по изучаемым темам).

3. Тетради с печатной основой.

4. Дидактические игры.

5. Специальное оборудование кабинетов математики для проведения лабораторных и

практических работ.

6. Технические средства обучения (видео и кинофильмы, диафильмы, эпидиаскоп,

кодоскоп, компьютерные обучающие программы и др. средства ИКТ, Интернет).

Мониторинг учебных достижений учащихся

Мониторинг — процесс непрерывного научно обоснованного, диагностико-

прогностического слежения за состоянием, развитием педагогического процесса в

целях оптимального выбора образовательных целей, задач и средств их решения.

Качество образования (понятие относительное) имеет два аспекта:

- соответствие стандартам или спецификации;

- соответствие запросам потребителя (ученику, родителям, обществу).

Мониторинг в педагогическом процессе рассматривается как:

 путь получения информации о результативности учебного процесса (Н.

Вербицкая, В. Бодряков);

 как метод коррекции образовательных процессов в системе повышения

квалификации (В. Г. Воронцов);

 экспертиза развития качества образования (М. В. Занин, Г.M. Ильясов);

 исследование эффективности административной команды учебного

учреждения (П. Дерзкова); и пр.

Цель мониторинга — выяснить:

 насколько образовательный процесс способствует положительной динамике в

развитии обучающегося, формированию ключевых компетенций;

 обнаружить и решить наиболее острые проблемы организации

образовательного процесса с тем, чтобы анализировать, обобщать и

распространять положительный опыт деятельности педагогов.

Недостатки традиционного мониторинга:

 Контроль состояния обучения носит нерегулярный, эпизодический характер.

 Методики не ориентированы на постоянство, непрерывность применения.

Поэтому не вскрывается динамика изменений.

 Основная направленность - на итоги обучения. При этом сам процесс обучения,

формирования знаний, умений и навыков, который и определяет итоги,

остается вне поля зрения.

 Недостаточная информативность. Используются достаточно субъективные

оценки выполнения проверочных заданий, что не позволяет выяснить, какие

конкретно (и в какой мере) элементы содержания усвоили или не усвоили

ученики.

Отечественные специалисты в области образовательного мониторинга

[Кузнецов А.А., Рыжаков М.В., Грабарь М.И.] сформулировали меры по повышению

качества образования в России на ближайшую перспективу для федерального

уровня.

Меры по повышению качества образования

1. Создание национальной системы оценки качества образования, включающую:

 принятие стандартов;

 совершенствование системы измерителей качества подготовки учащихся и и

процедур итоговых аттестаций учащихся (ЕГЭ, ГИА – 9);

 создание статистической базы мониторинга качества подготовки учащихся;

 создание государственной аттестационной службы (ГАС);

 разработка системы управления качеством образования.

2.Совершенствование системы оценки качества учебно-методической

литературы, учебного книгоиздания;

3.Создание «эталонных» учебников по предметам федерального компонента

государственного образовательного стандарта;

4. Разработка технологии контроля качества деятельности образовательного

учреждения, включающую:

 основы инспектирования школ России;

 планирование качества образования;

 методы оценки качества образовательных услуг;

 методы самооценки образовательного учреждения.

Педагогическое тестирование

Составляющим системы мониторинга является педагогическое тестирование

знаний и умений учащихся.

Основные направления деятельности федеральной системы тестирования:

 создание и постоянное совершенствование тестов как инструмента,

обеспечивающего объективность измерения учебных достижений (ФИПИ);

 организация и проведение массовых исследований уровня обученности;

 аттестация выпускников общеобразовательных школ;

 создание базы данных для обеспечения мониторинга качества обучения;

 систематический сравнительный анализ учебных достижений (PISA);

 обучение педагогов методам объективизации оценки уровня освоения учебного

материала.

Стабилизирующей основой, обеспечивающей единство требований и подходов к

оценке учебных достижений, являются образовательные стандарты

Положительные стороны тестирования:

1) тест – более качественный и объективный способ оценивания, так как

стандартизирована процедура их проведения;

2) тест – более мягкий инструмент. Тестирование ставит всех учащихся в равные

условия, используя единую процедуру и единые критерии оценки;

3) тест – широкий инструмент с точки зрения интервала оценивания;

4) и др.

Тестология – теоретико-прикладная наука, исследующая тестовые материалы с

точки зрения их форм, содержания, функционального назначения, показателей

качества; изучающая возможности применения тестов для установления уровня

учебных достижений.

Тестирование – это процедура проведения испытаний (тестов) для измерения и

оценки определенных качеств и навыков.

Измерение – операция, посредством которой определяется отношение одной

(измеряемой) величины к другой однородной величине (принимаемой за единицу)

[советская энциклопедия].

Тест – это система заданий специфической формы, позволяющая измерить уровень

обученности, совокупность представлений, знаний, умений и навыков на той или иной

области содержания

Педагогический тест — это система заданий специфической формы, определенного

содержания, возрастающей трудности, позволяющая качественно оценить структуру

и измерить уровень знаний, умений и навыков

Тестовое задание – элемент теста, сформулированный в форме утверждения,

служащее для моделирования исследуемой деятельности, актуализации изучаемых

педагогических и психологических качеств испытуемых (знаний, умений, навыков,

представлений, психологических свойств и пр.)

Содержание теста можно определить как оптимальное отображение содержания

образования в системе тестовых заданий.

Дистракторы (от английского distract — отвлечение внимания) – варианты неверных

ответов.

Критерии тестов:

 Объективность – измерение считается объективным, если удается

максимально исключить воздействия исследователя.

 Надежность – характеристика теста, отражающая точность педагогических

измерений, степень постоянства результатов тестирования, а также

устойчивость результатов теста к действию посторонних случайных факторов.

 Валидность (достоверность) – комплексная характеристика качества теста,

отражающая обоснованность, значимость его результатов, а также

пригодность данного теста для целей, заявленных его разработчиками.

Виды тестовых заданий

 закрытой формы, где даются готовые ответы, из которых один является

правильным, остальные — дистракторы (не совсем правильные);

 открытой формы, когда испытуемый, отвечая на задание, дописывает ответ на

месте прочерка;

 полуоткрытой формы, предполагающие дописывание испытуемым на месте

прочерка только одного слова, в редких случаях — одного двучленного

словосочетания;

 на соответствие, которые предполагают необходимость устанавливать

соответствие элементов одного множества элементам другого множества;

 на установление правильной последовательности, где испытуемый

располагает приведенные названия действий или частей текста в необходимом

порядке.

Трудность и сложность задания

Под трудностью задания будем понимать уровень усвоения деятельности, на

диагностику которого оно направлено,

Под сложностью — число существенных операций в нем, в том числе свернутых.

Задания 1-го уровня трудности

Это задания на узнавание. Они содержат одновременно и задание, и ответ

(подсказку), а от испытуемого требуется узнать их соответствие.

По форме различают три типа заданий первого уровня — опознание, различение и

классификация.

Задания 2-го уровня трудности

Проверяют умение ученика воспроизводить усвоенную информацию по памяти без

внешней подсказки и решать на этой основе типовые задачи. Типовой задачей

считается такая задача, условия которой допускают непосредственное применение

усвоенных алгоритмов, правил или формул для ее разрешения.

Различают три разновидности заданий второго уровня — задания-подстановки,

конструктивные задания и типовые задачи. Многие тестовые задания второго уровня

строятся как задания на заполнение пропусков. Это распространенный прием

тестирования в гуманитарных науках и по теоретическим разделам других

предметов.

Задания 3-го и 4-го уровня трудности

 Задания третьего уровня — это нетиповые эвристические задачи, которые

требуют от ученика эвристической деятельности, т. е. преобразования

исходных условий и часто — поиска дополнительных данных для подведения

задачи под типовой алгоритм.

 Задания четвертого уровня — это задачи творческого характера, которые

требуют самостоятельной деятельности обучающегося по созданию новой

(авторской) версии решения некой проблемы. Такие задания для разработчиков

тестов представляют определенную трудность при проверке (даже при

бланковом тестировании, не говоря уже о компьютерном),

Мера трудности

 Мера трудности определяется разработчиком ТЗ и указывает

субъективную величину того, насколько тяжело будет0решить данное

тестовое задание испытуемому с минимальным уровнем подготовки.

 Мера трудности зависит от следующих факторов:

- количество концептов, необходимых для решения ТЗ;

- форма ТЗ;

- уровень значимости ТЗ;

- количество$дистракторов.

Параметр ТЗ Мера трудности

Знания и умения (количество концептов)

«на опознание» или

«на проверку знания»(1)

легкое ТЗ

на применение усвоенных ранее знаний в

типовых ситуациях(2,3)

среднее ТЗ

на проверку «знаний воспроизведения по

образцу»(2,3)

среднее ТЗ

на применение знаний и умений в

нестандартных условиях (более 2,3)

сложное ТЗ

на проверку «знаний и умения их

применять» (более 2,3)

сложное ТЗ

Параметр ТЗ Мера трудности

Форма ТЗ

«один из нескольких» легкое ТЗ

«много из нескольких» среднее ТЗ

открытые ТЗ среднее ТЗ

на соответствие и порядок среднее или

сложное ТЗ

Сопоставительный анализ тестовых заданий

Характеристики Задания

закрытог

типа

Задания на

дополнени

Задания на

установлени

соответствия

Задания на

установление

последовательност

Проверка знания

фактов

Годны Годны Годны Годны

Применение

знаний по

образцу

Годны Годны Годны Годны

Применения

знаний в

нестандартных

ситуациях

Негодны Годны Негодны Годны

Простота

конструирования

Есть Есть Нет Нет

Исключение

угадывания

Нет Да Нет Нет

Объективность

оценки

Да Нет Да Да

Исключение

описок

Нет Да Нет Нет

Возможность

оригинального

ответа

Нет Да Да/Нет Нет

Правила разработки теста:

время теста

для студентов 2 – 2:30 часа

для школьников 1 – 1:30 часа

время на тестовое задание

приблизительно 1,5 мин. (до 5 мин)

благоприятное время проведения теста

утром – с 9 по 12

вечером с 16 по 18

Требования к тестовым заданиям:

 однозначность

(смысл суждения должен быть понятен);

 ясность

(тестируемый должен понимать, что от него хотят (использование информационного

окна инструкция);

 краткость

(не более 10 слов);

 истинное суждение

(действие тестируемого должно превращать тестовое задание в истинное суждение);

 тестовое задание не должно содержать подсказок (например, объединение

вариантов ответа);

 тестовое задание не должно формулироваться в виде вопроса;

 специфические признаки, ключевые слова выносятся в начало тестового

задания. Нельзя начинать тестовое задание с предлога, союза, частицы;

 отсутствие частицы «не»;

 правильный ответ не должен выделяться от остальных (по стилю написания,

по количеству слов в тексте);

 не допускается наличие повторяющихся фраз в вариантах ответов

(лучше длинный вопрос и «короткие» ответы);