Мандрыкин А.В. Информационные технологии в экономике

Подождите немного. Документ загружается.

многомерное хранилище данных Data Warehouse. Затем она

используется в процедурах многомерного анализа (OLAP) и

для интеллектуального анализа данных Data Mining.

Современных рынок ПО предлагает довольно широкий

спектр готовых решений класса СППР. Западные:

«CONCORDE», «ORET», «Y&R», «Quick Rating». Российские:

«Эксперт», «ИКСИ», «ИСИС», «Парус», «КОНФЛИКТ»,

«МАИ», «РИСК-1», «КОНСЕНСУС».

OLAP-технологии

В основе концепции оперативной аналитической обра-

ботки (OLAP) лежит многомерное представление данных.

Термин OLAP ввел E. F. Codd в 1993 году. По Кодду, много-

мерное концептуальное представление (multi-dimensional

conceptual view) является наиболее естественным взглядом

управляющего персонала на объект управления. Оно пред-

ставляет собой множественную перспективу, состоящую из

нескольких независимых измерений, вдоль которых могут

быть проанализированы определенные совокупности данных.

Одновременный анализ по нескольким измерениям данных

определяется как многомерный анализ. Каждое измерение

включает направления консолидации данных, состоящие из

серии последовательных уровней обобщения, где каждый вы-

шестоящий уровень соответствует большей степени агрегации

данных по соответствующему измерению. В этом случае ста-

новится возможным произвольный выбор желаемого уровня

детализации информации по каждому из измерений.

OLAP-системы являются частью более общего понятия

Business Intelligence, которое включает в себя помимо тради-

ционного OLAP-сервиса средства организации совместного

использования документов, возникающих в процессе работы

пользователей хранилища. Технология Business Intelligence

обеспечивает электронный обмен отчетными документами,

разграничение прав пользователей, доступ к аналитической

информации из Интернет и Интранет.

В настоящее время на рынке ПО предлагается большое

число OLAP-систем. Западные: Arbor Software, IBM, Informix,

Microsoft, Oracle, SAS Institute, Sybase и т.д. Однако, наиболь-

шее распространение в России получили решения только Ora-

cle и Microsoft. Российские: Intersoft Lab, Институт Открытых

Систем, BaseGroup Labs.

Интеллектуальный анализ данных

Интеллектуальный анализ данных (Data Mining) — это

процесс поддержки принятия решений, основанный на поиске

в данных скрытых закономерностей (шаблонов информации).

При этом накопленные сведения автоматически обобщаются

до информации, которая может быть охарактеризована как

знания.

В общем случае процесс интеллектуального анализа дан-

ных состоит из трёх стадий:

Выявление

закономерностей

Использование выявленных

закономерностей для

предсказания неизвестных

значений (прогностическое

моделирование)

Анализ исключений,

предназначенный для

выявления и толкования

аномалий в найденных

закономерностях

Рис. 13. Процесс интеллектуального анализа данных

Компьютерными технологиями, образующими Data

Mining являются:

Статистические пакеты. Полезны главным образом для

проверки заранее сформулированных гипотез и для "грубого"

разведочного анализа, составляющего основу оперативной

аналитической обработки данных. Хорошо известны пакеты

SPSS, STATGRAPHICS, STATISTICA, STADIA.

Нейронные сети и их вариации. Представляют собой сеть

взаимосвязанных элементов, которые являются математиче-

ской моделью нейронов головного мозга. Используются для

определения априорно неизвестных сложных функциональных

зависимостей на основании статистических данных. Отличи-

тельная особенность - возможность обучения. После обучения

нейронная сеть становится моделью, которую можно приме-

нить к новым данным с целью прогнозирования. Основным

недостатком в этом случае является необходимость иметь

очень большой объем обучающей выборки. Наиболее извест-

ные примеры - BrainMaker, NeuroShell, OWL, NeuroScalp, Эв-

рика+.

Экспертные системы. Позволяют на основании опыта

экспертов моделировать процесс принятия решений и выда-

вать эффективный результат. Наиболее известные примеры:

Acquire, Active AgentX, ReThink.

Байесовы (вероятностные) сети. Моделируют вероят-

ностные причинно-следственные связи. Позволяют рассчиты-

вать вероятность наступления того или иного события при из-

вестной априорной вероятности причин. Позволяют строить

модели в режиме реального времени с учетом неполноты дан-

ных и возможностью корректировки результата при появлении

дополнительной информации.

Методы эвристической самоорганизации. Методы дан-

ной группы исследуют функциональные и вероятностные

взаимосвязи "входов" и "выходов" некоторой системы, т.е. по-

зволяют моделировать сложные нелинейные процессы и сис-

темы при отсутствии априорных знаний о структуре системы.

Теория игр. Позволяет формализовать описание процес-

сов принятия сознательных целенаправленных решений при

участии одной или нескольких сторон в условиях неопреде-

ленностей, риска и конфликта, которые возникают при столк-

новении интересов. Задача теории игр заключается в предло-

жении рекомендаций рационального образа действий участни-

ков процесса принятия решений, т.е. в определении оптималь-

ной стратегии для каждого из них.

Теория хаоса. Предлагает новые методы анализа данных,

позволяющие выявлять скрытые зависимости там, где раньше

систему считали случайной, и не имеющей каких-либо зако-

номерностей. Применение аппарата теории хаоса позволяет

качественно изучать нестабильное апериодическое поведение

в нелинейных динамических системах, например, в экономи-

ческих процессах.

Многозначные логики. Нечеткая логика. Логика антони-

мов. Расширяет возможности "обычной" двоичной логики,

оперирующей только понятиями "1-да" и "0-нет". Позволяет

оперировать с нечеткой, неточной, "размытой" информацией.

Дает возможность использования качественных, а не количе-

ственных характеристик, что позволяет манипулировать лин-

гвистическими понятиями и знаниями, выражаемыми на

обычном языке (например, для описания процессов: "плохо"-

"средне"-"хорошо" и т.д.).

Эволюционные алгоритмы. Адаптивные методы поиска,

используемые для решения задач функциональной оптимиза-

ции. Основаны на эволюционных процессах биологических

организмов: популяции развиваются, подчиняясь законам ес-

тественного отбора и принципу "выживает сильнейший". Мо-

делируя этот процесс, эволюционные алгоритмы, в частности

генетические, способны "развивать" решения реальных задач,

если они соответствующим образом закодированы. Такой под-

ход является динамическим и позволяет довольно быстро на-

ходить оптимальные, с определенной точки зрения, решения.

Примером такой системы является PolyAnalyst.

Деревья решений и Алгоритмы классификации (decision

trees). Создается иерархическая структура классифицирую-

щих правил типа "ЕСЛИ..., ТО...", имеющая вид дерева. Для

принятия решения, к какому классу отнести некоторый объ-

ект или ситуацию, требуется ответить на вопросы, стоящие в

узлах этого дерева, начиная с его корня. Определяют естест-

венные “разбивки” в данных, основанные на целевых пере-

менных. Сначала выполняется разбивка по наиболее важным

переменным. Ветвь дерева можно представить как условную

часть правила. Наиболее часто встречающимися примерами

являются алгоритмы классификационных и регрессионных

деревьев либо хи-квадрат индукция (Chi-squared Automatic

Induction, CHAID). Недостаток: деревья решений принципи-

ально не способны находить "лучшие" (наиболее полные и

точные) правила в данных. (IDIS, KnowledgeSEEKER,

See5/C5.0).

Системы рассуждений на основе аналогичных случаев.

Вывод путем сопоставления (Memory-based Reasoning, MBR)

или вывод, основанный на прецедентах (Case-based

Reasoning, CBR). Эти алгоритмы основаны на обнаружении

некоторых аналогий в прошлом, наиболее близких к текущей

ситуации, с тем чтобы оценить неизвестное значение или

предсказать возможные результаты (последствия). Эти мето-

ды называют еще методом "ближайшего соседа". В выборе

решения они основываются на всем массиве доступных исто-

рических данных, поэтому невозможно сказать, на основе ка-

ких конкретно факторов строятся ответы. Примеры: KATE

tools (Франция), Pattern Recognition Workbench (США), КОРА

(Россия).

Ассоциативные правила. Алгоритмы ограниченного пе-

ребора. Предложены М.М. Бонгардом для поиска логических

закономерностей в данных. Выявляют причинно-следственные

связи и определяют вероятности или коэффициенты достовер-

ности, позволяя делать соответствующие выводы. Правила

представлены в форме “если <условия>, то <вывод>”. Их

можно использовать для прогнозирования или оценки неиз-

вестных параметров (значений). На основе частоты встречае-

мости логических закономерностей делается вывод о полезно-

сти какой-либо их комбинации (конъюнкции) для установле-

ния ассоциации в данных, для классификации, прогнозирова-

ния и т.д. (Пример, WizWhy).

Кластерный анализ. Подразделяет гетерогенные данные

на гомогенные или полугомогенные группы. Метод позволяет

классифицировать наблюдения по ряду общих признаков. Кла-

стеризация расширяет возможности прогнозирования.

Иммунные сети. Основаны на принципах функциониро-

вания иммунной системы позвоночных, которая, выступает

"вторым" интеллектом - как и нервная система, обладает таки-

ми свойствами как память, способность обучаться, умение

распознавать и принимать решения о том, как вести себя в но-

вых ситуациях. Методы, основанные на концепции искусст-

венных иммунных сетей, используются в задачах распознава-

ния образов, информационной безопасности, прогнозировании

временных рядов и др.

Роевой интеллект. Данный подход основан на коллек-

тивном интеллекте социальных насекомых - муравьев и пчел,

каждая особь которых обладает очень малыми возможностями,

но, собираясь в многотысячную и многомиллионную колонию,

они становятся роем, представляющим собой мощную интел-

лектуальную распределенную систему. Многие современные

задачи управления, моделирования и прогнозирования могут

быть эффективно решены с помощью автономных эмерджент-

ных систем, построенных по такому принципу. Наиболее ак-

тивными сферами применения являются социальное модели-

рование, экономическое прогнозирование, маркетинговые ис-

следования.

Методы экспертных оценок. Применяются при отсутст-

вии возможности или трудо-ресурсной нецелесообразности

получения данных в количественном выражении. При модели-

ровании многих процессов и систем понятие точных числовых

оценок теряет всякий смысл. В таких случаях обращаются к

использованию знаний и опыта экспертов - методам эксперт-

ных оценок, которые включают в себя методы получения,

формализации и интеграции экспертных знаний.

Среди западных систем класса Data Mining на россий-

ском рынке наиболее известно решение Microsoft Data Mining.

Наиболее известная российская система класса Data Mining -

PolyAnalyst.

5.5. Контрольные вопросы

1. Характеристика транзакционных и аналитических

систем

2. Системы операционной обработки данных

3. Основные свойства транзакций

4. Принципы сериализации транзакций

5. Подходы к выполнению транзакций в распределен-

ных системах

6. Характеристика систем управления эффективностью

бизнеса BPM

7. Основные характеристики систем класса СППР

8. Структура систем СППР

9. Понятие OLAP-технологий

10. Характеристика компьютерных технологий в интел-

лектуальном анализе данных

6. ГЛОБАЛЬНАЯ СЕТЬ ИНТЕРНЕТ

6.1. История создания Интернет

В 1961 году DARPA (агентство перспективных научных

исследований в области обороны) приступило к проекту по

созданию экспериментальной сети передачи информационных

пакетов. Эта сеть, названная ARPANET, предназначалась пер-

воначально для изучения методов обеспечения надежной связи

между компьютерами различных типов, причем в условиях

частичных повреждений, получаемых во время ведения воен-

ных действий, в том числе и ядерной войны. С самого начала

предполагалось, что связь в сети является ненадежной: любой

ее сегмент может быть поврежден или уничтожен. И тем не

менее, сеть должна была обеспечивать связь между уцелевши-

ми компьютерами.

Следующим этапом в развитии Интернет следует считать

создание сети научного фонда США (NSF). Сеть, названная

NSFNET и объединяющая научные центры США, основыва-

лась на пяти суперкомпьютерах, соединенных между собой

высокоскоростными линиями связи. Сеть NSFNET быстро за-

няла место ARPANET, которая в 1990 году была ликвиди-

рована.

Быстрый рост числа пользователей сети требовал ее по-

стоянной реорганизации, и в 1987 году был создан NSFNET

Backbon - базовая часть, или хребет сети. Хребет состоял из

тринадцати центров, соединенных друг с другом высокоскоро-

стными линиями связи. Центры располагались в разных частях

США. Одновременно создавались национальные сети в других

странах. Компьютерные сети разных стран стали объединять-

ся, и в 90-х годах сформировалась сеть Интернет в сегодняш-

нем виде.

Одним из последних и наиболее важных событий в исто-

рии Интернет стала разработка так называемой всемирной

паутины - среды World Wide Web (WWW). История WWW

началась в марте 1989 года, когда ученый Tim Bernes Lee вы-

ступил с проектом телекоммуникационной среды для проведе-

ния совместных исследований в области физики высоких энер-

гий. И уже в 1991 году Европейская лаборатория практической

физики (CERN) объявила на весь мир о создании новой гло-

бальной информационной среды WWW.

Суть этой среды состоит в том, что документ, к которому

будет возможен доступ через Интернет, определенным обра-

зом форматируется с помощью гипертекстового языка. Ин-

формация может быть найдена в сети посредством так назы-

ваемого универсального локатора ресурсов и отображена с

помощью навигационных программ-браузеров. Наиболее по-

пулярны среди пользователей Интернет браузеры Netscape

Navigator, MS Интернет Explorer, Opera.

6.2. Административное устройство

и финансирование Интернет

Основным органом, осуществляющим информационную

поддержку и регулирование в Интернет, является ISOC (Ин-

тернет Society). ISOC является общественной организацией,

базирующейся на взносах и пожертвованиях спонсоров. ISOC

проводит ежегодные конференции, выпускает информацион-

ные материалы, поддерживает информационные серверы.

ISOC назначает совет старейшин, который занимается

координацией деятельности в области развития структуры се-

ти Интернет.

Совет старейшин представляет собой группу приглашен-

ных добровольцев, называемую IAB (Интернет Architecture

Board - Совет по архитектуре Интернет.). IAB регулярно соби-

рается, чтобы уточнить стандарты и распределить ресурсы,

такие, например, как адреса. Он не присваивает адресов само-

лично, но разрабатывает правила, как эти адреса присваивать.

Пользователи Интернет высказывают свои жалобы и

предложения на встречах IETF (Интернет Engineering Task

Force - Оперативный инженерный отряд Интернет). IETF - это

другая добровольная организация; также собирается регуляр-

но, чтобы обсудить текущие эксплуатационные и назревающие

технические проблемы. При обсуждении достаточно важной

проблемы IETF создает рабочую группу для ее дальнейшего

исследования.

Финансирование Интернет

За Интернет никто централизовано не платит. Каждый

пользователь платит только за свою часть сети Интернет: NSF

платит за содержание NSFNET; NASA платит за Научную

Сеть NASA (NASA Science Интернет) и т.д. Представители се-

тей собираются вместе и решают, как им соединяться друг с

другом и содержать эти взаимосвязи. Колледж или корпорация

платит за ее подключение к некоторой региональной сети, ко-

торая в свою очередь платит за свой доступ сетевому владель-

цу государственного масштаба.

6.3. Основные сервисы Интернет

Электронная почта (E-mail)

- это метод передачи сооб-

щений электронным способом. Поставщик услуг Интернет

(провайдер) открывает клиенту электронный почтовый ящик, в

который будет попадать направляемая пользователю коррес-

понденция. Этому почтовому ящику ставится в соответствие

адрес почты, так называемый E-mail и пароль. На самом деле

пользователю предоставляется возможность сохранять опре-

деленный объем информации на компьютере провайдера. При

обмене почтовыми сообщениями отправителю и получателю

не нужно одновременно быть на линии связи. Отправляемые

сообщения попадают в почтовый ящик, откуда их можно взять

в удобное для себя время.

Для работы с электронной почтой используются не-

сколько протоколов.

Протокол SMTP - Simple Mail Transfer Protocol был раз-

работан для обмена почтовыми сообщениями в сети Интернет.

Протокол POP3 - Post Office Protocol предназначен для

разбора почты из почтовых ящиков пользователей на их рабо-

чие места при помощи программ-клиентов. Если по протоколу

SMTP пользователи отправляют корреспонденцию через Ин-

тернет, то по протоколу POP3 (после проверки прав доступа)