Карпенко М.П. Телеобучение

Подождите немного. Документ загружается.

М.П. Карпенко. Телеобучение

661

ное расписание студент может отредактировать. Отредактированное ин-

дивидуальное расписание студента хранится в системе, и в соответствии

с ним студенту предоставляется доступ к тем или иным занятиям на ос-

нове определенных учебных продуктов. Подсистема предусматривает учет

последовательности прохождения занятий. То есть, пока студент не изу-

чит первые модули дисциплин, учебные продукты для вторых модулей

ему предоставляться не будут. Установлен таймер, по значениям которого

определяется, отстает ли студент от своего графика и на сколько дней. Эта

информация предоставляется студентам.

Этап «Импорт оценок в БД «Успеваемость». Оценки, полученные сту-

дентом в процессе занятий с учебными продуктами средствами системного

ПО «ЛиК. Студент», экспортируются в специальный файл, записываемый

на индивидуальный флеш-накопитель USB. Этот файл в установленный

срок студент передает в ЦД. В ЦД системное ПО «ЛиК. ЦД» импортирует

оценки в БД «Успеваемость». В процессе прохождения занятий автомати-

чески фиксируются все оценки, полученные студентом. Необходимо отме-

тить, что специальный файл содержит оценки в зашифрованном виде и

студент не имеет возможности их отредактировать или стереть.

Модульное тестирование и промежуточная аттестация проводят-

ся в ЦД.

9.7. Система локальных актов и внутренний аудит качества

В § 9.1 было показано, что обеспечение воспроизводимости (стабиль-

ности) реализуемых бизнес-процессов является одной из важнейших со-

ставляющих управления качеством. Для распределенного вуза это означа-

ет необходимость обеспечить воспроизводимость образовательного про-

цесса, включая все факторы, определяющие образовательную среду.

Обеспечение воспроизводимости процессов имеет три составляющие

– техническую, технологическую и организационную. Техническая со-

ставляющая данной проблемы должна быть решена за счет обеспечения

всех учебных центров однородными техническими средствами обучения

по единым нормативам и доступа ко всем информационным учебным ре-

сурсам с любого компьютерного учебного места каждого учебного центра.

Технологическая составляющая воспроизводимости – это использование

во всех учебных центрах единых учебных продуктов и другой учебной ин-

формации.

662

Современные подходы к качеству образования

Организационная составляющая обеспечения воспроизводимости

процессов в условиях распределенного вуза с множеством территориально

удаленных учебных центров многократно усложняется. Решение данной

проблемы лежит на пути создания системы локальных актов – внутренних

стандартов, административных и технологических инструкций, докумен-

тирующих реализуемые бизнес-процессы. Например, система локальных

актов СГА включает – 185 документированных описаний процессов –

стандартов/инструкций (технологические – 64, административные – 56,

организационные – 65). Согласно стандарту ГОСТ Р ИСО 9001-2001 (ISO

9001:2000) стандарты предприятия составляют основу СМК и являются

основополагающим видом технической документации на реализуемые

бизнес-процессы (п. 7.1.3. Процедуры (стандарты предприятия)).

СГА, которая в числе первых 10 вузов прошла сертификацию системы

менеджмента качества стала также одним из первых вузов, создавших та-

кую развитую систему локальных актов. Совокупность данных локальных

актов является системой документирования образовательной технологии

телеобучения в целом.

Основная особенность локальных актов СГА, регламентирующих

бизнес-процессы заключается в том, что они представляют собой ал-

горитмические описание этих процессов. Это означает, что в указанных

локальных актах четко прописаны процедуры действия менеджеров про-

цессов, т. е. что, как и во взаимодействии с кем они должны делать при

различных условиях функционирования каждого процесса/подпро-

цесса.

Все локальные акты построены на позитивных формулировках, т. е.

имеют характер рекомендаций к действию при исключении прямых запре-

тов типа «запрещается», «недопустимо» и т. д., что, как показала практика,

дает наибольший эффект с точки зрения мотивированности сотрудников

к качественному выполнению своей работы.

Безусловное соблюдение локальных актов в СГА обеспечивается за

счет двух компонент. Первая – это обучение в рамках повышения квали-

фикации (ПК). Каждый поступающий на работу в СГА осваивает базовый

курс ПК по основам ДОТ, обязательный для изучения руководящими, пе-

дагогическими работниками и учебно-вспомогательным персоналом (в

том числе работающим в учебных центрах).

Далее обучение строится на основе модулей по отдельным функци-

ям – функциональная специализация. Наличие таких модулей позволяет

М.П. Карпенко. Телеобучение

663

обеспечивать гибкость системы повышения квалификации при форми-

ровании курсов и обеспечить каждому сотруднику углубленное изучение

совокупности локальных актов, необходимых для выполнения професси-

ональных функций.

Вторая компонента – внутренний аудит. В соответствии со стандар-

том ГОСТ Р ИСО 9001-2001 (ISO 9001:2000) – п.8.2.2 «Внутренние аудиты

(проверки)» – внутренний аудит является подсистемой СМК. Его целями

являются:

– выявление несоответствий в реализуемых процессах требованиям,

установленным документами, регламентирующими процессы;

– определение возможностей и путей совершенствования предлагае-

мых вузом образовательных услуг в целом всех реализуемых бизнес-про-

цессов;

– установление причин, препятствующих качественному выполнению

функций учебного центра в части реализации образовательной техноло-

гии СГА, административной и финансовой деятельности.

Сбор соответствующей информации проводится экспертами внут-

реннего аудита. При определении состава экспертов СГА отказалась от

формального назначения, перейдя к конкурсному отбору, что позволило

формировать состав экспертов из числа наиболее подготовленных сотруд-

ников, имеющих высокую мотивацию. Попасть в состав экспертов внут-

реннего аудита – почетно, они часто поощряются (в том числе материаль-

но) со стороны руководства, включаются в состав резерва на повышение. В

результате в состав экспертов внутреннего аудита СГА в настоящее время

входят сотрудники базового вуза и учебных центров (более 200 чел.) про-

шедшие соответствующее повышение квалификации и получившие серти-

фикаты СГА.

Отметим, что при проведении внутреннего аудита имеет место поло-

жительная обратная связь в плане роста квалификации экспертов – выяв-

ляя недостатки в учебных центрах и помогая их устранять, эксперты учат

качеству других, одновременно в практической работе повышая свою ква-

лификацию.

Внутренний аудит ведется в соответствии с годовыми планами по ут-

вержденным критериям, формализованным таблицам и формам, которые

ежегодно обновляются и строятся с учетом ФГОС, аттестационных и ак-

кредитационных показателей, а также других нормативов Минобрнауки

РФ, САНПиН и пр. Предусмотрены также внеплановые проверки (в слу-

664

Современные подходы к качеству образования

чаях, если плановая проверка выявила недостатки проводится проверка

выполнения соответствующих рекомендаций или имеют место обращения

потребителей образовательных услуг и т. д.). Общая схема системы внут-

реннего аудита СГА представлена на рис. 9.9.

По материалам форума

По результатам соблюдения графика и количества

представления письменных курсовых работ в

соответствии с численностью обучающихся на

соответствующих курсах

По статистическим данным использования системы

IP-хелпинга

По результатам данных успеваемости, приказов и

других данных в системе ИИС «Луч»

Контроль реализации учебного процесса на основе полного

соблюдения образовательной технологии СГА в учебных центрах

на основе установленных критериев

Анализ

результатов

реализации

учебного

процесса в

учебных

центрах по

всем

уровням

образования

и формам

обучения,

реализуемым

в СГА

ямой

Через систему видеонаблюдения в режиме реального времени

Косвенный

Анализ действующего учебного расписания учебного центра,

представленного в базовый вуз

По соответствию предоставляемых документов по

движению студенческого контингента,

оформлению расписания, организации учебных

занятий и другим требованиям действующих

инструкций

Внутренняя аттестация с выездом экспертов в учебный центр

Рис. 9.9. Система внутреннего аудита СГА

Собираемая в процессе внутреннего аудита информация охватывает

все реализуемые в учебных центрах бизнес-процессы: составление учебно-

го расписания, учебный процесс, проверка выполнения в учебном центре

требований к технологии телеобучения, воспитательная работа и т. д.

Внутренний аудит СГА включает прямой контроль реализации учеб-

ного процесса (с выездом комиссии экспертов в учебный центр) и косвен-

ный, при котором экспертами внутренней аттестации изучаются материа-

лы отчета о самообследовании учебного центра, ежегодно представляемо-

М.П. Карпенко. Телеобучение

665

го в базовый вуз, а также анализ объективных показателей деятельности

учебного центра, представленных в ИИС «Луч», системе IP-хелпинга, ат-

тестационном центре, документах о движении студенческого контингента,

материалах форума СГА и т. д.

По результатам анализа отчета руководством академии принимается

решение о целесообразности проведения проверки экспертами на местах.

Результаты внутреннего аудита являются инструментом для Попе-

чительского совета СГА, ректората, Ученого совета и других органов уп-

равления вузом при принятии решений о развитии/ликвидации учебных

центров, расстановке кадров, внедрении новых образовательных прог-

рамм и т. д.

При этом следует отметить, что внутренний аудит СГА построен по

принципу сотрудничества – он ставит целью повышение качества образо-

вательной среды через непрерывное совершенствование реализуемых биз-

нес-процессов, а не только и не столько выявление нарушений и наказание

виновных.

9.8. Практический пример применения рейтинговой системы

оценки качества вузов

Как уже отмечалось выше, главным критерием качества работы вуза

является удовлетворенность общества и выпускников предоставляемыми

вузом образовательными услугами. Однако в стремлении укрепить свое

материальное и финансовое благополучие, упрочить статус в сфере обра-

зования и повысить престиж, вузы не устают соревноваться друг с другом.

В качестве основы для оценки качества вузов могут использоваться два

метода: пороговый, когда вуз достигает определенных объективных пока-

зателей, или рейтинговый, определяющий место каждого вуза, занимаемое

им в совокупности вузов.

С точки зрения интересов общества главным методом является поро-

говый, так как достижение определенных показателей является гарантией

необходимого качества образовательных услуг. В России это закреплено

законом – пороговый метод используется для государственной аккреди-

тации вузов (хотя за пределами Закона официально используются и срав-

нительные методы – для определения вида вуза Рособрнадзор пользуется

не объективными пороговыми значениями, а сравнивает его показатели с

показателями других вузов – экзотический математический метод, слож-

ность которого не позволяет вузам самостоятельно оценить свои достиже-

666

Современные подходы к качеству образования

ния). Как уже отмечалось в § 8.1.1, пороговый метод – это по сути анализ

соответствия контролируемых параметров вуза некоторой спецификации,

т. е. проверка соответствия вуза некоторому «стандарту безопасности»

для потребителя, который затем сам выберет вуз, удовлетворяющий его

потребностям. Как показали результаты мониторинга экономики образо-

вания, проведенного Минобрнауки РФ в 2003–2006 гг., интересы населе-

ния – желание большинства граждан (90%) обеспечить получение высшего

образования своим детям при том, что они удовлетворены существующим

уровнем качества высшего образования

. Поэтому, полностью принимая

необходимость проведения лицензирования и аккредитации, как обеспе-

чения гарантий качества образования, представляется излишним под фла-

гом борьбы за качество высшего образования проводить такие мероприя-

тия, как тестирование остаточных знаний и бесконечные проверки вузов,

негативно влияющие на учебный процесс, а оставить оценку качества вуза

потребителю.

При оценке вуза необходимо учитывать, что европейские стандарты и

руководящие принципы Болонского процесса (г. Берген, 19–20 мая 2005 г.)

декларируют доверие вузу:

− поставщики высшего образования несут основную ответствен-

ность за качество и его гарантию;

− должно поощряться развитие культуры качества в вузах;

− должны разрабатываться процессы, с помощью которых вузы

смогли бы продемонстрировать свою отчетность. Гарантия качества с це-

лью отчетности полностью равна по значимости гарантии качества с це-

лью совершенствования учебного процесса;

− учебные заведения должны демонстрировать качество своей де-

ятельности как в стране, так и на международной арене.

Рейтинговые показатели являются внутренним делом вузовского со-

общества, и в выборе рейтинговых критериев проявляется изобретатель-

ность и субъективизм. В мире популярен такой критерий, как средняя

зарплата выпускников, хотя всем понятно, что львиная доля такого кри-

Российское образование 2020. Модель образования для экономики, основанной

на знаниях / Под ред. Я.И. Кузьминова и И.Д. Фрумина. Доклад на IX научной конферен-

ции «Модернизация экономики и глобализация». Москва, апрель 2008 г. М.: Изд. дом ГУ

ВШЕ, 2008.

Наводнов В.Г. Развитие системы федерального Интернет-экзамена в сфере про-

фессионального образования / Доклад на X всероссийской научно-практической конфе-

ренции «Теория и практика измерения латентных переменных в образовании и других

социально-экономических системах». г. Анапа, 22–29 июня 2008 г.

М.П. Карпенко. Телеобучение

667

терия определяется способностями и социальным статусом выпускников,

а также уровнем развития страны проживания. Пользуются критериями

научных достижений, хотя наука и образование – это различные сферы че-

ловеческой деятельности. Используется критерий количества нобелевских

лауреатов и другие экзотические критерии.

Рейтинговые исследования, в том числе, проводимые для сравнения

вузов, должны применяться при определенных условиях. Во-первых, не

следует по единой методике оценивать слишком разнородные объекты.

Например, никому не придет в голову оценивать по единой рейтинговой

методике больницу и металлургический завод. Аналогично, по-видимому,

должны различаться рейтинговые модели оценки вузов, реализующих су-

щественно разные образовательные программы, например, инженерного

и гуманитарного профилей, элитарных университетов и массовых высших

учебных заведений. Во-вторых, во многих рейтинговых оценках использу-

ются критерии, оценивающие не только качество образовательной среды,

но и зависящие от способностей и социальной страты обучаемых (как, на-

пример, упомянутый выше критерий средней зарплаты выпускников), что

делает такие рейтинговые исследования не вполне корректными.

СГА получила уникальную возможность провести корректное рей-

тинговое сравнение качества работы группы вузов, реализующих одну и

ту же образовательную программу подготовки аудиторов, которая завер-

шается сдачей стандартизованного квалификационного экзамена на полу-

чение аттестата Минфина РФ. При этом, аудиторы – весьма специфичес-

кая, высокопрофессиональная часть лиц с высшим образованием. Они в

подавляющем большинстве имеют экономическое образование и прошли

на практике школу бухучета на уровне не ниже заместителя главного бух-

галтера. Таким образом, это лица с достаточно высокими индивидуаль-

ными способностями. Отсюда следует, что уровень успешности сдачи ими

квалификационного экзамена может являться показателем качества обра-

зовательной среды вуза.

Федеральный закон №119-ФЗ «Об аудиторской деятельности», при-

нятый 9 сентября 2001 г., концептуально обозначил пространство аудита

в Российской Федерации, определил понятия аудиторской деятельности,

независимости аудиторов, общероссийские стандарты деятельности ауди-

торов, а также закрепил правила ее аттестации и лицензирования. В соот-

ветствии с данным законом разработано положение о системе аттестации,

а также порядок проведения квалификационного экзамена, который со-

668

Современные подходы к качеству образования

стоит из тестирования и выполнения письменно-устной работы по экза-

менационным билетам.

Для выполнения этого решения Министерством финансов России был

проведен конкурс среди образовательных организаций, реализующих об-

разовательные программы с применением дистанционных образователь-

ных технологий. Право на осуществление экзамена получила Современная

гуманитарная академия, обладающая спутниковой технологией и системой

электронного тестирования, позволяющих проводить процесс тестирова-

ния аудиторов во многих субъектах РФ (до 100 городов) одномоментно в

течение одного рабочего дня, что позволило принципиально снизить риск

утечки информации о содержании тестов и повысить объективность оцен-

ки. Кроме того, разделение этапов обучения и тестирования аудиторов (СГА

не ведет обучение аудиторов, а только тестирование) позволяет исключить

фактор заинтересованности в искажении оценки. Следует отметить, что

Минфин РФ является одной из первых российских государственных ор-

ганизаций, на практике применивший принцип независимой профессио-

нальной аттестации, который уже давно применяется за рубежом.

Этот принцип, например, реализован в Вашингтонском соглашении,

подписанном в 1989 г. профессиональными организациями, ответствен-

ными за аккредитацию образовательных программ в области техники и

технологий в развитых странах мира, Европейском фонде развития ме-

неджмента (EFMD), аккредитующем образовательные программы по ме-

неджменту, в США, где патент на осуществление адвокатской практики

выдается выпускнику вуза только после прохождения дополнительной,

независимой от вуза аттестации и т. д.

В течение последних лет, с 2003 года, СГА осуществляет техническое

обеспечение этапа тестирования квалификационного экзамена с использо-

ванием телекоммуникационных средств. Формирование комплектов тес-

тов осуществляется централизовано методом случайной выборки вопро-

сов из базы данных в автоматическом режиме. Компьютеризация данного

этапа позволяет в настоящее время использовать индивидуальный экзаме-

национный комплект тестов для каждого регионального учебно-методи-

ческого центра, где проводится тестирование аудиторов, не повторяющий

экзаменационные комплекты тестов, предназначенных для других учеб-

но-методических центров. При этом каждый аудитор получает индивиду-

альный комплект тестовых вопросов. Даже в случае утечки информации

о тестовой базе формирование комплектов тестовых вопросов методом

случайной выборки делает практически невозможным недобросовестное

М.П. Карпенко. Телеобучение

669

прохождение тестирования с положительным результатом. Помимо обес-

печения одновременного проведения данного этапа квалификационного

экзамена используемые СГА телекоммуникационные средства обеспечива-

ют возможность видеонаблюдения за проведением тестирования во всех

регионах в режиме реального времени.

Для проведения компьютерного тестирования вместо множества экза-

менационных комиссий организуется одна Рабочая комиссия из предста-

вителей Министерства финансов России. Информационно-техническое

обеспечение позволяет сформировать индивидуальные варианты теста и

довести их до каждого участника экзамена.

Следует заметить, что сами экзаменуемые признают объективность

экзамена, и в настоящее время протестов на результаты и процедуру его

проведения не поступает.

Помимо технического сопровождения тестирования в СГА осущест-

вляется регулярный мониторинг результатов тестирования, включающий

сбор данных и их аналитическую обработку, позволившую сравнить ре-

зультаты тестирования аудиторов, прошедших обучение в различных ву-

зах РФ (а, следовательно, и качество образовательной среды вузов), ко-

торые отличаются по организационно-правовой форме, количеству под-

готовленных аудиторов, профилю основных образовательных программ,

территориальному расположению.

Критерием успешности вуза в подготовке аудиторов является процент

успешно прошедших тестирование.

%100

P =

, (9.1)

где P

– показатель рейтинга i-го вуза – процент успешно прошедших тес-

тирование аудиторов, подготовленных в i-м вузе и участвовавших в тести-

ровании; m

– количество аудиторов, успешно прошедших тестирование;

– количество аудиторов, подготовленных в i-м вузе и участвовавших в

тестировании.

Рассмотрим массив сводных данных о результатах тестирования ауди-

торов за период с 2003 по 2007 гг. включительно (табл. 9.2), расположенный

по убыванию значения рейтинга успешности вузов в подготовке аудиторов.

Выбранный в данном рейтинговом исследовании критерий оценки

вуза – процент успешно прошедших тестирование аудиторов является слу-

чайной величиной, распределенной по нормальному закону с математичес-

670

Современные подходы к качеству образования

ким ожиданием (средняя) М ≈ 53,7 и стандартным отклонением (среднее

квадратическое) σ ≈ 14,5.

Размах изменений критерия успешности сдачи экзамена аудиторами

очень велик – критерий изменяется от 26 до 89%, т. е. в 3,4 раза. Это дает

нам возможность исследовать влияние на величину критерия различных

факторов. Такое исследование проведем, выделяя попарные группы ву-

зов и рассчитывая для каждой группы суммарные показатели (P

, m

, n

, m

, n

). Величины

%100

P =

%100

P =

являются выраженными

в процентах выборочными значениями вероятностей успешной сдачи эк-

заменов аудиторами, подготовленными в двух выделяемых группах вузов,

участвующих в экзамене. Таким образом, задача проверки значимости раз-

личий качества подготовки аудиторов между первой и второй группами

вузов сводится к проверке статистической гипотезы о равенстве парамет-

ров двух биноминальных распределений по их выборочным значениям.

Для такого анализа используется статистический критерий, вычисля-

емый по следующей формуле

U =

)

()1(

2121

nnnn

−

, (9.2)

где U – статистический критерий, распределенный по нормальному закону

N(0,1), т. е. с математическим ожиданием M = 0 и стандартным отклоне-

нием σ = 1, связанный с доверительной вероятностью p

дов

через функцию

Лапласа; доверительная вероятность определяется из соответствующих

статистических таблиц.

Напомним, что при выбранном уровне доверительной вероятности из

таблиц определяется соответствующее этому уровню критическое значе-

ние U

крит

, и если модуль рассчитанного по выборке значения U оказывается

больше U

крит

, то гипотеза равенства отвергается. В противном случае осно-

ваний ее отвергнуть нет.

Чтобы оценить физический смысл получаемых параметров двух бино-

Гмурман В.Е. Руководство к решению задач по теории вероятностей и математи-

ческой статистике. М.: Высшее образование, 2006. 476 с.