Филиппович Ю.Н.(сост.) Интеллектуальные технологии и системы

Подождите немного. Документ загружается.

А.А.Проскурнин

201

Данная разработка является реализацией определенной методики

контроля знаний. Необходимо уточнить это утверждение. Исходя из

обзора методов и моделей контроля знаний, проведенного в дипломном

проекте, можно сделать вывод, что существует достаточно большое

число самых разнообразных форм, методов, методик, моделей, идей,

применяемых для контроля знаний. При этом невозможно сказать о том,

что

какая-то из моделей контроля знаний является более предпочти-

тельной, обязательно даст наилучшие результаты. Здесь все определяет-

ся целями, которые ставит себе разработчик тестов, преподаватель, ор-

ганизационными возможностями, спецификой содержания различных

учебных дисциплин. В то же время нельзя не отметить, что среди раз-

личных моделей контроля знаний можно выделить более

субъективные,

авторские модели, которые опираются, как правило, во многом, на эм-

пирические соображения, и можно выделить более устоявшиеся, клас-

сические модели, которые имеют достаточную научную проработку и

являются признанными в теории педагогических измерений, тестоло-

гии, квалиметрии.

При разработке данного программного продукта была поставлена

задача использования оригинальной информационной модели тестового

задания и

базы тестовых заданий, основанной на модели представления

вербальных языковых знаний, предложенной Ю.Н. Карауловым [1]. В

этом состоит основное отличие данного программного продукта от ос-

тальных. Задача создания наиболее адекватных моделей базы тестовых

заданий является актуальной в настоящее время. Поскольку такая мо-

дель реализована в данном программном продукте, а она фактически

позволяет описывать вербальные языковые знания в некоторой области,

постольку можно использовать данный программный продукт для соз-

дания баз вербальных языковых знаний в различных предметных облас-

тях, независимо от его основного назначения.

Целью данной статьи не является подробное рассмотрение приме-

няемой модели представления вербальных языковых знаний. Поэтому

здесь опускаются рассуждения, которые определили

переход от данной

модели к информационной модели базы тестовых заданий. Информаци-

онная модель тестового задания состоит из следующих компонентов:

формула смысла (формулировка задания), множество знаков (множест-

во правильных ответов), способ задания смысла, множество дидактиче-

ских единиц, входящих в разные тематические разбиения, функция зна-

ния.

В свою очередь информационная модель базы

тестовых заданий со-

стоит из следующих компонентов (множеств): знаков, формул смысла,

Автоматизированная система контроля знаний

202

способов задания смысла, тематических разбиений, дидактических еди-

ниц, значений функции знания, тестовых заданий.

Выбранная модель тестового задания определила и его форму. Каж-

дое задание представляет собой предложение, которое определяет или

характеризует некоторый термин (понятие) учебного предмета. Испы-

туемый должен прочитать предложение, осмыслить его, и определить

термин, о котором идет речь

в предложении. Наиболее близкая класси-

ческая форма тестовых заданий – это так называемое тестовое задание

на дополнение с ограничением на ответ, когда ученик дописывает про-

пущенное слово, формулу, символ или число на месте прочерка. Зада-

ния на дополнения кажутся ученикам более трудными, так как в них

исключается догадка. Действительно, легче выбрать

правильный ответ

из предложенных, основываясь не столько на знаниях, сколько на ин-

туиции, чем самому его сформулировать или найти в процессе решения

поставленных проблем. Но именно это свойство делает задания на до-

полнение исключительно привлекательными для педагогов, особенно

для тех, кто привык в своей работе опираться на традиционные средства

контроля и

не доверяет тестам. Есть и недостатки, связанные с трудно-

стями, возникающими при оценке ответа учеников. Дописывая ответ на

месте прочерка, ученик может выбрать синонимы пропущенного запла-

нированного разработчиком слова или изменить порядок следования

элементов в пропущенной формуле, что значительно затрудняет про-

верку и оценку результатов учеников. Рекомендуется, чтобы ответ на

задание был достаточно кратким, как правило, одно слово, по крайней

мере, не превышающим двух-трех слов.

Ниже приведены некоторые примеры тестовых заданий с указанием

для них способа задания смысла как вида тестового задания (предмет

«Информатика»):

1) Он может быть персональным, карманным и даже квантовым

(КОМПЬЮТЕР). Способ: указание типов, видов для

понятия.

2) «Мозг» компьютера (ПРОЦЕССОР). Способ: метафора.

3) В языке Pascal он бывает трех типов: со счетчиком, с предуслови-

ем, с постусловием (ЦИКЛ). Способ: указание типов, видов для поня-

тия.

4) Как называется процесс, в результате которого из массива {5, 2,

1, 3, 8} получается массив {1, 2, 3, 5, 8}? (СОРТИРОВКА, УПОРЯДО-

ЧИВАНИЕ). Способ: указание примера, поясняющего суть понятия.

5) Если он корневой, то обозначается так: «<имя диска>:\». (КАТА-

ЛОГ, ДИРЕКТОРИЯ). Способ: указание обозначения, относящегося к

понятию.

А.А.Проскурнин

203

6) Пара множеств (V, E), где V – конечное множество вершин, а E –

конечное множество упорядоченных пар e = (u, v), называемых дугами,

где u, v – вершины. (ГРАФ). Способ: дефиниция.

7) По мнению Николауса Вирта, их структура плюс алгоритм рав-

няется программе. (ДАННЫЕ). Способ: использование цитаты.

Многие системы тестирования предлагают использование различных

форм тестовых заданий при разработке тестов. Так как в

данной работе

модель базы тестовых заданий основана на лингвистической модели, то,

естественно, что здесь нет смысла использовать задания в закрытой

форме. Поэтому программный продукт использует единственную фор-

му тестовых заданий. Конечно, это является определенным ограничени-

ем. Но здесь есть и свои преимущества – это, во-первых, использование

преимуществ данной формы заданий

и данной модели базы тестовых

заданий, и, во-вторых, благодаря интерактивным аналитическим отче-

там, реализованным в программном продукте, возможность их всесто-

роннего исследования.

Определившись с формой тестовых заданий и моделью представле-

ния базы тестовых заданий, необходимо было также выбрать модель

процесса тестирования и модель обработки результатов (модель оцени-

вания).

В качестве

модели процесса тестирования выбрана самая простая

модель – это последовательное предъявление вопросов в том порядке,

который задан разработчиком теста. Случайная выборка не использует-

ся потому, что с точки зрения теории педагогических измерений, слу-

чайно выбранные тестовые задания не могут обладать системообра-

зующими свойствами, и, следовательно, не могут составлять тест. Мо-

дели,

которые используют специфические параметры тестовых заданий,

определяемые экспертными методами, не использовались, так как, во-

первых, экспертное определение параметров задания во многих случаях

отрицательно сказывается на объективности результатов тестирования

(например, экспертное определение сложности задания), а во-вторых,

для обеспечения «чистоты» используемой модели тестового задания,

основанной на понятии фигуры знания. Адаптивное тестирование

явля-

ется в настоящее время одним из самых разработанных методов интел-

лектуализации тестирования, но для реализации адаптивных моделей

необходимо предварительно накопить достаточно большую базу тесто-

вых заданий с эмпирически определенными оценками трудности зада-

ний (причем желательно, чтобы эти оценки были достаточно устойчи-

выми и эффективными).

Автоматизированная система контроля знаний

204

В качестве модели обработки результатов как основная была выбра-

на однопараметрическая модель Раша [2, 3]. Это классическая модель

теории IRT, которая обладает рядом важных достоинств:

• модель Раша превращает измерения, сделанные в дихотомиче-

ских и порядковых шкалах в линейные измерения, в результате качест-

венные данные анализируются с помощью количественных методов;

• поскольку мера

измерения параметров модели Раша является ли-

нейной, то это позволяет использовать широкий спектр статистических

процедур для анализа результатов измерений;

• оценка трудности тестовых заданий не зависит от выборки испы-

туемых, на которых была получена;

• оценка уровня знаний испытуемых не зависит от используемого

набора тестовых заданий;

• пропуск данных для

некоторых комбинаций (испытуемый – тес-

товое задание) не является критическим.

Кроме использования модели Раша, для подсчета тестовых баллов

можно использовать простейшую модель, основанную на проценте пра-

вильно выполненных заданий.

Для анализа качества теста и тестовых заданий реализованы как ос-

новные процедуры классической теории тестирования, так и анализ в

рамках модели Раша.

Таким

образом, в данной разработке по описанным выше соображе-

ниям была зафиксирована определенная модель тестового задания и

базы тестовых заданий, определенная форма тестового задания, опреде-

ленная модель процесса тестирования, модели обработки результатов и

оценки качества тестов. Все эти модели в совокупности и сформировали

разработанную методику контроля, которая определяет основные виды

способы деятельности разработчика тестов, основные этапы разработ-

ки, применения теста и анализа его качества.

Программный продукт позволяет пользователю решать следующие

задачи:

1. Создание и поддержка базы тестовых заданий, основанной на

модели представления вербальных языковых знаний, с возможностью

эффективной навигации и поиска в этой базе.

2. Разработка на основе базы тестовых заданий

учебных тестов, как

самых простых, ориентированных на задачи текущего, промежуточного

контроля, так и профессиональных, обладающих высоким уровнем ка-

чества и обеспечивающих представление об истинных баллах учащихся.

3. Проведение тестирования, как индивидуального, так и массового,

с высоким уровнем масштабируемости и защиты от фальсификации

А.А.Проскурнин

205

результатов тестирования.

4. Аналитическая обработка результатов тестирования, с использо-

ванием представления, аналогичного многомерной модели данных, по-

зволяющая устанавливать характер зависимостей между результатами

тестирования и параметрами модели тестового задания, например, спо-

собом задания смысла, функцией знания, знаком.

5. Оценка качества тестов как в соответствии с классической теори-

ей тестирования, так и

в соответствии с теорией IRT.

6. Проведение стандартизации теста и установки норм на основании

интерпретации данных обработки результатов тестирования.

7. Получение объективированных оценок уровня подготовки испы-

туемых и уровня трудности заданий в единой интервальной шкале логи-

тов, в соответствии с моделью Раша, как по приближенным формулам,

так и численным методом с

заданной точностью.

8. Линейное преобразование шкалы логитов для представления

оценок уровня подготовки испытуемых и уровня трудности заданий на

множестве положительных чисел.

9. Вычисление оценок испытуемых на основании процента верно

выполненных заданий и норм теста, в случае, когда не используется

модель Раша.

10. Получение разнообразных форм отчетности, в аналитическом и

графическом виде

, с возможностью экспорта данных результатов любо-

го отчета в Microsoft Word или Microsoft Excel.

Графически область применения разработки можно изобразить сле-

дующим образом:

Система реализована в виде трех автоматизированных рабочих мест

– АРМ «Администратор», АРМ «Преподаватель» и АРМ «Студент».

Первые два АРМ используют двухзвенную архитектуру «клиент – сер-

вер базы данных» («толстый» клиент), а последнее реализовано

в трех-

звенной архитектуре «клиент – Web-сервер – сервер базы данных»

(«тонкий» клиент).

Такое разделение было сделано исходя из того, что массовое тести-

рование студентов требует именно «тонкого» клиента, когда на рабочей

станции не нужно устанавливать никакого специального программного

обеспечения. Например, если тестирование должны пройти одновре-

менно 100 пользователей, то при использовании обычной

архитектуры

«клиент – сервер базы данных» необходимо было бы предварительно

установить на 100 компьютеров клиентскую часть СУБД, необходимые

библиотеки и настроить подключение к удаленной базе данных. При

Автоматизированная система контроля знаний

206

использовании «тонкого» клиента те же самые действия нужно сделать

только на одной машине – там, где установлен Web-сервер.

Отличников 5

Троечников 3

Иванов 4

Петров 4

Преподаватель Студенты

Учебная дисциплина

Тест

Тестирование

Результаты тестирования

Используется для

тк

Рисунок 1. Графическое изображение предметной области.

Для АРМ администратора и преподавателя использование тонкого

клиента нецелесообразно, так как оба эти рабочих места осуществляют

сложное взаимодействие с базой данных, включающее как требующие

достаточно большого времени выполнения запросы, так и активное

DML-взаимодействие. Кроме того, интерфейс прикладного приложения,

то есть в данном случае интерфейс,

основанный на стандартах Windows,

для постоянной работы все-таки привычней и удобней большинству

пользователей, чем интерфейс Web-браузера. Потенциально возможное

количество пользователей, использующих эти два АРМ, гораздо мень-

ше, чем для АРМ студента. Вероятно, это несколько преподавателей и

один администратор.

Схематически физическая структура системы изображена ниже (на

этом же рисунке приведены основные задачи

, решаемые пользователя-

ми системы):

Таким образом, автоматизированная система контроля знаний, раз-

работанная в дипломном проекте, позволяет обеспечить все необходи-

мые функциональные возможности для разработки тестовых заданий и

А.А.Проскурнин

207

тестов, организации проведения индивидуального и массового тестиро-

вания, в том числе в системе дистанционного образования, адекватно

оценить уровень подготовки учащихся, прошедших тест, оценить каче-

ство самого теста, а также отдельных тестовых заданий.

Студент

Сервер БД

...

Студент

Web-сервер

Преподаватель

Администратор

Интернет, Интранет

Разработка базы тестовых

заданий

Разработка тестов

Проведение тестирования

Обработка результатов

тестирования

Оценка качества тестов

Получение отчетов

Учет пользователей

Раздача прав

Редактирование

справочников

Прохождение

тестирования

Просмотр

результатов

Рисунок 2. Физическая структура системы

Литература

1. Караулов Ю.Н. О единицах знания // Полифония образования и

англистика в мультикультурном мире. Тезисы первой международной

конференции Ассоциации англоведов и преподавателей английского

языка 25-26 ноября 2003 г. Москва, МГЛУ, 2003.

2. Челышкова М.Б. Теория и практика конструирования педагоги-

ческих тестов: Учебное пособие. – М.: Логос, 2002. – 432 с.: ил.

3. Rash G. Probabilistick Models for Some Intelligence and Attainment

Tests, 1960, Copenhagen, Denmark: Danish Institute for Educational Re-

search.

4. Атанов

Г.А. Пустынникова И.Н. Обучение и искусственный

интеллект или Основы современной дидактики высшей школы. – До-

нецк: Изд-во ДОУ, 2002. – 504 с.

5. Аванесов В.С. Основы научной организации педагогического

контроля в высшей школе. М.: Иссл. центр, 1989. – 167 с.

Б.И.Рабинович

СРЕДА ОБРАБОТКИ ПОТОКОВ ДАННЫХ

Введение

Информация — (от лат. informatio — разъяснение, изложение), пер-

воначально — сведения, передаваемые одними людьми другим людям

устным, письменным или каким-либо другим способом (например, с

помощью условных сигналов, с использованием технических средств и

т. д.), а также сам процесс передачи или получения этих сведений. Ин-

формация всегда играла в жизни человечества очень важную роль

. Од-

нако, в середины 20 в. в результате социального прогресса и бурного

развития науки и техники роль информации неизмеримо возросла. На-

блюдается лавинообразное нарастание массы разнообразной информа-

ции, получившее название "информационного взрыва". В связи с этим

возникла потребность в научном подходе к информации, выявлении её

наиболее характерных свойств, что привело к

двум принципиальным

изменениям в трактовке понятия информации. Во-первых, оно было

расширено и включило обмен сведениями не только между человеком и

человеком, но также между человеком и автоматом, автоматом и авто-

матом; обмен сигналами в животном и растительном мире [БСЭ].

В современной модели развития любого бизнеса своевременный

доступ к необходимой информации

является одним из определяющих

факторов его развития и успеха. Именно поэтому все большую попу-

лярность завоевывают информационные системы, функциональным

назначением которых является предоставление пользователям доступа к

хранящейся в них информации [Integrum, Garant и т.п.]. Основной осо-

бенностью этих систем является либо узкая специализация и привязка к

определенной области, либо жесткие требования

к входящим потокам

данных.

В данной работе рассматриваются методы, позволяющие создать

систему, обрабатывающую различные потоки информации, сущест-

вующей в электронном виде, методы загрузки этой информации в хра-

нилище знаний, некоторые способы поиска и анализа накопленной ин-

формации. Система представляет собой среду обработки потоков дан-

ных (СОПД). Данные, обрабатываемые СОПД, могут быть

следующих

типов: текст на естественном языке (ЕЯ), структурированная информа-

Б.И.Рабинович

209

ция (таблицы и биллинги), графические образы рукописных текстов,

статические и динамические изображения, звуковые ряды

Для содержательной обработки информации предлагается система,

основанная на соответствующих методиках обработки текстов. Особен-

ность методик — в переносе сложных этапов лингвистического анализа

на уровень обработки знаний и глубине семантического анализа [Куз-

нецов, 1999].

Система базируется на концептуально-лингвистической

модели и

методиках, развиваемых на протяжении последних десяти лет в ИПИ-

РАН. Уровень полученных результатов сопоставим с передовыми науч-

ными исследованиями за рубежом [Fastus, 1996, ЭР3].

Информация, семантика, данные

Основным назначением системы, о которой пойдет речь далее, —

это сбор и обработка разнородной информации. Под информацией по-

нимаются любые сведения о каком-либо событии, сущности, процессе и

т.п., являющиеся объектом некоторых операций: восприятия, передачи,

преобразования, хранения или использования.

Перед тем, как определить понятие «данные», представим следую-

щую абстрактную ситуацию: имеется

некоторая система, информация о

которой представляет интерес, и наблюдатель, способный воспринимать

состояния системы и в определенной форме фиксировать их в своей

памяти (никаких других действий наблюдатель не выполняет). В этом

случае считается, что в памяти наблюдателя находятся данные, описы-

вающие состояния системы. Итак, данные можно определить как ин-

формацию, фиксированную

в определенной форме, пригодной для по-

следующей обработки, хранения и передачи.

Данные соответствуют зарегистрированным фактам об объектах или

явлениях реального мира. Чтобы в дальнейшем использовать данные,

требуется их смысловое содержание – семантика данных. Поэтому в

информационной системе должны быть сформулированы правила их

смысловой интерпретации.

Работа с семантикой – это работа со знаниями. В

системах обработки

информации под знаниями понимают сложноорганизованные данные,

содержащие одновременно как фактографическую (регистрацию неко-

торого факта), так и семантическую (смысловое описание зарегистриро-

ванного факта) информацию, которая может потребоваться пользовате-

лю при работе с данными. Основное средство представления семантики

данных – естественный язык. Однако, можно использовать специальные

формализованные языки, которые позволяют достаточно

эффективно

Среда обработки потоков данных

210

организовать обработку информации для целого ряда практических за-

дач [Григорьев, 2002].

Автоматизированная информационная система

Основной областью применения СОПД являются автоматизирован-

ные информационные системы (АИС), представляющие собой автома-

тизированную систему управления (АСУ). Основной метод построения

такого типа систем является метод регистрации и хранения информации

в виде отдельных фактов (значений, событий, операций и т.п.) с после-

дующей их группировкой и объединением по различным признакам (в

соответствии

с алгоритмами управления в системе). Далее производится

вывод итогов в формах и документах, необходимых и удобных для ре-

шения конкретных управленческих или пользовательских задач. На се-

годняшний день АИС в большинстве случаев разрабатываются как бан-

ки данных и знаний.

Банк данных (БнД) – это АИС, включающая в свой состав комплекс

специальных

методов и средств (математических, информационных,

программных, языковых, организационных и технических) для поддер-

жания динамической информационной модели предметной области с

целью обеспечения запросов пользователей. Под предметной областью

понимается область применения конкретного БнД.

Кроме этого БнД являются составной частью любой АСУ. Соответ-

ственно к функционалу БнД, относящемуся к работе с данными, предъ-

является

ряд требований: хранение; добавление; удаление; модифика-

ция; извлечение и т.д.

В общем случае БнД делится на базу данных (БД) и систему управ-

ления базами данных (СУБД), где БД отвечает за хранение данных, а

СУБД за все остальные функции. Крайне сложно провести четкую грань

между двумя понятиями: «знания» и «данные»,

то же самое можно ска-

зать и про такие понятия, как банк данных и банк знаний (БнЗ). Про БнЗ

можно сказать, что это новый тип информационных систем, который

нашел широкое применение в различных областях, при этом самое ши-

рокое применение находят такие разновидности БнЗ, как экспертные

системы (ЭС).

Экспертные системы (ЭС

) – это системы, которые создаются для

решения определенного рода практических задач, таких как диагности-

ка, прогноз, управление, проектирование, обучение и т.п. Каждая ЭС

является человеко-машинной системой. В ее разработке необходимо

участие экспертов, инженеров по знаниям и конструкторов. При этом

эксперты – это специалисты в данной предметной области, знания кото-