Курс - Информационные технологии

Подождите немного. Документ загружается.

является обеспечение изолированности пользователей, т.е. создание такого ре-

жима работы, чтобы каждому из пользователей казалось, что он работает в

одиночку. Такую задачу СУБД принято иногда называть параллелизмом тран-

закций.

При параллельной обработке БД возникает три основные проблемы:

— проблема потери результатов обновления — заключается в первую

очередь в том, что транзакция может быть не завершена из-за того, что данные,

которые она обрабатывает, могут быть модифицированы другой транзакцией;

— проблема незафиксированности зависимости — состоит в том, что

транзакция может использовать для работы данные, которые в настоящий мо-

мент модифицируются другой транзакцией. Понятно, что первая из них вполне

может работать с данными, которые по завершении второй транзакции просто

будут отсутствовать;

— проблема несовместимого анализа — связана с тем, что в результате

модификации БД транзакцией другая транзакция может внести в БД некую

информацию, которая не будет соответствовать целостному состоянию БД.

Для решения этих проблем используют блокировку — метод управления

параллельными процессами, при котором объект БД не может быть модифици-

рован без ведома транзакции.

Различают два вида блокировки:

— блокировку записи — запрос другой транзакции будет отвергнут;

— блокировку чтения — позволяет другим транзакциям также наложить

блокировку чтения на эти данные.

Решение проблем параллельной обработки БД заключается в том, что

объект блокируется, а последующие транзакции, модифицирующие этот кор-

теж, отвергаются и переводятся в режим ожидания.

В связи со свойством сохранения целостности БД транзакции являются

подходящими единицами изолированности пользователей. Действительно, ес-

ли каждый сеанс работы с БД реализуется транзакцией, то каждый пользова-

тель начинает работу с согласованным состоянием БД, т.е. с таким ее состоя-

нием, в котором она могла бы находиться, даже если бы пользователь работал с

ней в одиночку.

БЕЗОПАСНОСТЬ БД

Вопросы безопасности и целостности — еще одна из важнейших сторон

работы СУБД. Под безопасностью понимают защиту БД от несанкционирован-

ного разрушения, изменения и модификации. Систему можно считать безопас-

ной только в том случае, если пользователю допускается выполнять только

разрешенные действия. Целостность БД связана с корректным выполнением

этих действий.

В СУБД традиционно поддерживаются избирательный или обязатель-

ный подходы обеспечения безопасности данных. При избирательном подходе к

управлению безопасностью каждый пользователь обладает различными права-

ми (полномочиями) при работе с тем или иным объектом БД. В случае обяза-

тельного подхода каждому объекту БД присваивается уровень доступа, а поль-

зователям — уровни допуска.

Оба подхода реализуются в СУБД в виде особых правил безопасности,

предусматривающих опознание источника запроса.

ЯЗЫК SQL

SQL — это язык запросов, ориентированный на реляционные базы дан-

ных. Он значительно сокращает объем работ, которые пришлось бы выполнять

при использовании универсальных языков программирования. Для поиска кон-

кретных строк потребуется выполнить следующие действия:

1. Получить строку таблицы.

2. Проверить, та ли это строка, которая нужна.

3. Если да, сохранить ее, пока просматривается оставшаяся часть табли-

цы.

4. Проверить, есть ли еще строки в таблице.

5. Если строки присутствуют, вернуться к шагу 1.

6. Если строк больше нет, вывести все значения, сохраненные на шаге 3.

Это описание действий на обычном языке. SQL избавляет от всего этого. Ко-

манды SQL, традиционно называемые операторами, могут оперировать с таб-

лицами как с едиными объектами и обрабатывать любое количество извлечен-

ной или производной информации как один блок. Задача сводится к правиль-

ному составлению запроса.

Стандарт (не язык) SQL является совместной разработкой ISO (Interna-

tional Organization for Standardization) и ANSI (American National Standards In-

stitute). SQL не был изобретен этими организациями; он возник в результате

разработок, проводившихся в ШМ, и был сразу подхвачен другими компания-

ми.

Основные достоинства языка SQL заключаются в следующем:

— стандартность языка SQL — его использование в программах стан-

дартизировано международными соглашениями;

— независимость от конкретных СУБД — все распространенные СУБД

используют SQL;

так, реляционную БД и программы, которые с ней работают, можно перенести

с одной СУБД на другую с минимальными доработками;

— возможность переноса с одной вычислительной системы на другую

— СУБД может быть ориентирована на различные вычислительные системы,

однако приложения, созданные с помощью SQL, допускают использование как

для локальных БД, так и для крупных многопользовательских систем;

— реляционная основа языка — SQL является языком реляционных БД,

поэтому он стал популярным тогда, когда популярной стала реляционная мо-

дель представления данных. Табличная структура реляционной БД хорошо по-

нятна, поэтому язык SQL является простым и легким для изучения;

— возможность создания интерактивных запросов — SQL обеспечивает

пользователям немедленный доступ к данным, при этом в интерактивном ре-

жиме можно получить результаты запроса за очень короткое время без написа-

ния сложной программы;

— возможность программного доступа к БД — язык SQL может быть

легко использован в приложениях, которым необходимо обращаться к БД;

— возможность динамического изменения и расширения структуры БД

— язык SQL даже во время обращения к содержимому позволяет манипулиро-

вать структурой БД;

— поддержка архитектуры клиент-сервер.

MICROSOFT SQL SERVER — MSSQL

Основными задачами SQL-сервера являются организация одновременно-

го доступа к данным большого количества пользователей, а также манипуляции

информацией, хранимой в базе данных.

В системах, организованных в архитектуре клиент-сервер, поддержива-

ется коллективный доступ к данным. Здесь каждый компьютер совершает опе-

рации, связанные с хранением, доступом и обработкой данных. При этом вы-

полняемые задачи разделяются между сервером и рабочей станцией.

Основные принципы взаимодействия в системе SQL-сервер:

1. SQL-сервер может быть установлен на платформу Windows NT, кли-

ентская часть — на Windows98.

2. SQL-сервер выполняет функции создания объектов бызы данных

(таблиц, индексов и т.д.), осуществляет проверку целостности базы данных и

отвечает за безопасность данных в системе.

3. Доступ пользователя к данным SQL-сервера обычно осуществляется с

компьютера рабочей станции. При этом создаются соответствующие приложе-

ния, которые позволяют выполнять операции над данными.

4. Для выполнения ряда задач, связанных в основном с администрирова-

нием базы данных системы SQL-сервер, обращение к системе удобно выпол-

нять непосредственно с самого компьютера-сервера.

В SQL-сервер для манипулирования данными используется язык запро-

сов Transact-SQL, который является переработанной компанией Microsoft вер-

сией языка SQL.

Таблица 7

Основные количественные показатели системы SQL-сервер

Показатель

Размер

Количество поддерживаемых баз данных 32767

Максимальный размер базы данных 1048516 терабайт

Максимальное число таблиц, определяемых в одной

базе данных

2 миллиарда

Максимальное количество столбцов в одной таблице 1024

Максимальное число столбцов, которые можно оп-

ределить в одном SQL-запросе

Максимальное количество строк не ограничено (опреде-

ляется ресурсами серве-

ра)

Из недостатков MSSQL можно выделить возможность его установки

только на операционную систему Windows NT.

ТЕХНОЛОГИЯ OLAP

ОБЩЕЕ ОПИСАНИЕ

Вплоть до недавнего времени технология OLAP — Online Analytical

Processing (оперативный анализ данных на основе многомерной модели дан-

ных) — была недоступна широким массам пользователей. OLAP-системы, раз-

рабатываемые для среды клиент-сервер, как правило, состояли, с одной сторо-

ны, из OLAP-серверов, реализующих хранение (в этом случае говорят о MO-

LAP-серверах, т.е. Multidimensional OLAP) и обработку многомерных массивов

данных с использованием так называемой OLAP-машины (т.е. многомерной

машины), а с другой — из OLAP-клиентов, которые позволяют пользователям

выполнять нужный им анализ на основе результатов запросов к OLAP-серверу.

Стоимость одного рабочего места OLAP-системы измерялась тысячами, а то и

десятками тысяч долларов. Только крупные западные корпорации могли позво-

лить себе такие расходы.

Однако в последнее время ситуация изменилась: в области OLAP-

технологий происходит технологический перелом. Во-первых, OLAP-серверы

интегрируются в основные реляционные клиент-серверные СУБД, становясь их

бесплатными или почти бесплатными дополнениями. Примером могут служить

последние версии СУБД корпораций Microsoft и IBM, а также намеченная к

выпуску в 2002 г. СУБД Oracle 9i. Во-вторых, производительность и объем

ОЗУ ПК увеличились настолько, что теперь уже стала возможной обработка на

них достаточно больших многомерных массивов, т.е. реализация OLAP-

машины на ПК пользователя. Быстрое развитие рынка OLAP-клиентов со

встроенной OLAP-машиной позволило эффективно реализовать ROLAP (Rela-

tional OLAP) — обработку многомерных массивов данных, хранимых в реляци-

онных БД (схемы «звезда» и «снежинка»). В этом случае OLAP-серверы вооб-

ще не нужны. В результате стоимость OLAP-систем снизилась до сотен или

даже десятков сотен долларов на одно рабочее место. Уменьшился и «вступи-

тельный взнос»: купив одну лицензию на OLAP-клиента, можно практически

избежать последующих затрат. Это делает OLAP-системы, а точнее OLAP-

приложения, доступными огромным массам «белых воротничков» как на Запа-

де, так и в России. Вероятно, что в ближайшие год-два OLAP-системы превра-

тятся в столь же естественное средство анализа данных и выпуска отчетов, ка-

ким сегодня являются электронные таблицы. И наиболее широко будут исполь-

зоваться не OLAP-системы с мощными OLAP-серверами, а OLAP-клиенты со

встроенной OLAP-машиной, потому что они дешевы, просты в установке, не

требуют администрирования, осваиваются за считанные часы, а их мощности

достаточны для решения очень многих задач.

Этот процесс уже начался на Западе. А что же происходит в России?

Доля России в мировом рынке OLAP до сегодняшнего дня была незаметна.

Причин тому несколько, и все они уже уходят в прошлое. Это ценовой

барьер, отсутствие у российского бизнеса потребности в анализе, а следова-

тельно, и спроса на аналитические программные продукты, отсутствие отечест-

венных системных разработок и недостаточное предложение готовых приклад-

ных решений в области OLAP.

В настоящее время ситуация меняется. У российского бизнеса спрос на анали-

тику заметно вырос, что, очевидно, вызвано ростом экономики и завершением

этапа первичной автоматизации;

снизился и ценовой барьер. Поэтому мировые тенденции в области информа-

ционных технологий Россию наверняка на минуют.

Для того чтобы понять, какое место отечественные разработчики могут

занять в индустрии OLAP, посмотрим таблицу, где представлен фрагмент об-

щепризнанной классификации OLAP-продуктов из журнала

OLAP Report

(см.

гл. «Классификация OLAP-продуктов»).

Дадим небольшое дополнение к этой классификации по степени готов-

ности продукта к применению конечным пользователем:

— компоненты — инструменты программиста для разработки OLAP-

приложений (Dynamic Cube, Decision Cube, Pivot Table);

— универсальные инструменты. Программные комплексы без предопре-

деленных объектов предметной области, которые применяются для создания

OLAP-приложений путем настройки или прикладного программирования

(большинство продуктов, приведенных в таблице);

— специализированные инструменты (СТУДИИ). Программные ком-

плексы с предопределенными объектами предметной области, которые приме-

няются для создания OLAP-приложений путем настройки или прикладного

программирования (SAS CFO Vision и некоторые другие);

— OLAP-приложения. Готовые решения для вертикальных рынков, тре-

бующие только установки и настройки под специфику пользователя (приложе-

ния для маркетингового анализа, риск-менеджмента и т.д.).

Приведем небольшой список наиболее популярных программ, устанав-

ливаемых на персональные компьютеры для обработки и визуализации много-

мерных массивов данных:

— Cube Analyzer — система анализа данных на основе OLAP-

технологии;

— SOMap Analyzer — система анализа информации на основе самоор-

ганизующихся карт Кохонена;

— Neural Analyzer — система анализа данных на основе многослойных

нейронных сетей;

— ForeCast — построение и прогноз временного ряда с помощью адап-

тивной модели авторегрессии.

— Project Expert — система финансового планирования (инвестиции);

— TimeLine и Project — средства сетевого планирования.

Для профессионального применения лучше воспользоваться пакетом

Deductor, включающим в себя большинство вышеперечисленных программных

пакетов и обладающим возможностями настройки и анализа под задачи теку-

щего пользователя, интеграцией с Excel и DBase, возможностью печати.

ВОЗМОЖНОСТИ ДЛЯ РОССИЙСКИХ РАЗРАБОТЧИКОВ

Разработка и продвижение OLAP-серверов требует миллионных инве-

стиций, а их рынок уже в ближайшее время, вероятно, будет поделен между

гигантами: Microsoft, Oracle. Поэтому очевидно, что для российских разработ-

чиков этот сегмент OLAP-рынка закрыт в обозримом будущем. Зато открыты

сегменты DOLAP (Desktop OLAP — в этом случае все данные для анализа хра-

нятся на ПК пользователя), OLAP-клиентов (с OLAP-машиной и без нее), инст-

рументов программиста — OLAP-компонентов и, конечно, OLAP-приложений.

А если учесть бурный рост этого рынка в момент нынешнего технологического

перелома, то такие разработки могут быть перспективными не только для про-

движения в нашей стране, но и для выхода отечественных софтверных компа-

ний на международную арену.

OLAP-КОМПОНЕНТЫ

Любое конечное решение (OLAP-приложение) содержит OLAP-

компонент, который является инструментом разработчика. Его средство визуа-

лизации состоит из элементов управления и элементов отображения данных —

как правило, это одна таблица. Компоненты могут включать OLAP-машину, то-

гда они являются инструментом создания DOLAP- или OLAP-клиентов для

РСУБД; в случае отсутствия OLAP-машины компоненты представляют собой

инструмент генерации запросов к MOLAP-серверу и визуализации его данных.

Подавляющее большинство поставщиков OLAP-продуктов, а их в мире насчи-

тывается около 140, не продают свои компоненты. В настоящее время известно

только о трех серьезных компонентах со встроенной OLAP-машиной, которые

можно купить для собственной разработки. Это Decision Cube компании hiprise

в составе компиляторов Delphi и C++ Builder, Pivot Table корпорации Microsoft

в составе MS Office и Dynamic Cube компании Data Dynamic, специализи-

рующейся на создании OLAP-компонентов. Все три компонента по сравнению

с готовыми продуктами многих поставщиков имеют весьма скупую функцио-

нальность, ограниченную классическими функциями OLAP: детализацией (drill

down), перемещением колонок (move), поворотом — превращением колонок в

строки и наоборот (rotate) и пр. Только Dynamic Cube позволяет манипулиро-

вать десятками тысяч записей, возможности двух других компонентов ограни-

чиваются 4000 записей.

Таким образом, российский OLAP-компонент, способный обрабатывать

сотни тысяч записей и имеющий палитру встроенных функций, мог бы конку-

рировать с лидерами рынка. Исходя из этого предложения и имея потребность в

OLAP-инструменте для собственных OLAP-приложений, компания INTER-

SOFT Lab разработала OLAP-компонент Contour Cube.

Contour Cube включает OLAP-машину, интерфейс доступа к данным,

хранящимся в реляционных БД и других источниках, и визуальную часть. По

«готовности к применению» это инструмент программиста. Его основными

достоинствами являются обработка больших объемов данных, минимальные

требования к памяти, расширенная (в сравнении с другими доступными компо-

нентами) функциональность. Тесты на ПК с процессором Intel Celeron 400 и

оперативной памятью 64 Мб дали следующие результаты. Загрузка 60000 запи-

сей с шестью измерениями занимает 5 секунд; дальнейшие манипуляции, такие

как полный поворот таблицы, детализация и обобщение, выполняются за деся-

тые доли секунды. Загрузка 500000 записей с семью измерениями длится около

30 секунд, поворот такого куба выполняется в среднем за 2,5 секунды. Это

лучшие по порядку величины результатов в ряду известных нам OLAP-

компонентов. В момент работы с данными наш компонент занимает наимень-

ший по сравнению с «одноклассниками» объем оперативной памяти.

OLAP-КЛИЕНТЫ

OLAP-клиенты со встроенной OLAP-машиной устанавливаются на ПК

пользователей. Они не требуют сервера для вычислений, и им присуще «нуле-

вое администрирование». Такие клиенты позволяют пользователю настроиться

на существующие у него базы данных. После этого OLAP-клиент выполняет

произвольные запросы и результаты их отображает в OLAP-таблице. В этой

таблице, в свою очередь, пользователь может манипулировать данными и по-

лучать на экране или на бумаге сотни различных отчетов. OLAP-клиенты,

предназначенные для работы с РСУБД, позволяют анализировать уже имею-

щиеся в корпорации данные, например хранящиеся в БД OLTP. Однако вторым

их назначением может быть быстрое и дешевое создание хранилищ или витрин

данных — в этом случае программистам организации нужно лишь создать со-

вокупность таблиц типа «звезда» в реляционных БД и процедуры загрузки

данных. Наиболее трудоемкая часть работы — написание интерфейсов с мно-

гочисленными вариантами пользовательских запросов и отчетов — реализует-

ся в OLAP-клиенте буквально за несколько часов. Конечному же пользователю

для освоения такой программы требуется порядка 30 минут. OLAP-клиенты

поставляются самими разработчиками баз данных, как многомерных, так и ре-

ляционных. Это SAS Corporate Reporter, являющийся почти эталонным по

удобству и красоте продуктом, Oracle Discoverer, комплекс программ MS Pivot

Services и Pivot Table и др. Многие программы, предназначенные для работы с

MS OLAP Services, поставляются в рамках кампании «OLAP в массы», кото-

рую проводит корпорация Microsoft. Как правило, они являются улучшенными

вариантами Pivot Table и рассчитаны на использование в MS Office или Web-

браузере. Это продукты фирм Matryx, Knosys и т.д., благодаря простоте, деше-

визне и эффективности приобретшие огромную популярность на Западе. Не

только мелкие и средние компании, но и большие корпорации строят свои хра-

нилища с распределенным доступом на основе таких программ. Их перспек-

тивность для российского рынка очевидна, поэтому компания Intersoft Lab соз-

дала собственный продукт этого качества — «Контур Стандарт».

«Контур Стандарт» по «готовности к применению» — это универсаль-

ный инструмент для создания OLAP-приложений. С помощью его средств

можно организовать прямой доступ к локальным файлам и к произвольным

РСУБД на уровне таблиц и, что не встречается в зарубежных аналогах, хра-

нимым процедурам. «Контур Стандарт 3.0» содержит OLAP-компонент Contor

Cube со встроенной клиентской многомерной машиной, которая позволяет об-

рабатывать выборки данных до миллиона записей. В классификаторе OLAP