Максимов Н.В., Голицына О.Л., Васина Е.Н. Управление данными

Подождите немного. Документ загружается.

вий конца файла или записи) предано в буфер оперативной памяти уст-

ройства или операционной системы.

Таким образом, если система адресации в прикладной программе

является относительной и отражает логику взаимосвязи записей (напри-

мер, порядок создания файла), то для подсистем ввода-вывода она явля-

ется абсолютной и определяется физическим форматом носителя: раз-

мером сектора, количеством секторов на дорожке, количеством поверх-

ностей и дорожек и т.д. При этом независимость от особенностей физи-

ческого размещения и механизма адресации обеспечивается на уровне

логической структуры носителя.

Например, логически последовательная выборка записей файла

обеспечивается таблицей размещения файлов, определяющей исполь-

зуемое файлом пространство как цепочку кластеров, физически находя-

щихся в любой доступной части диска. Доступ к файлу производится по

идентификатору (составному имени) через систему каталогов, связы-

вающих идентификатор файла с началом цепочки указателей на класте-

ры данных в таблице размещения файлов. Кроме того, логическая струк-

тура содержит (в составе загрузочной записи) информацию, идентифи-

цирующую пространство в целом, а также данные, определяющие физи-

ческую структуру (физический формат носителя, рассмотренный ра-

нее).

В общем случае операция чтения физической записи включает

следующие действия:

1. Определение адреса записи в координатах устройства (напри-

мер, для файлов с записями фиксированной длины - пересчетом номера

нужной записи в относительный адрес сектора и далее определение аб-

солютного номера сектора на диске);

2. Перемещение головки чтения в соответствующую координату:

позиционирование к дорожке и сектору на дорожке, складывающееся из

двух действий – собственно радиального перемещения головки на рас-

стояние от текущего положения до нужной дорожки и ожидания подхо-

да указанного сектора вращающегося диска к позиции, где находится

головка. Следует также отметить, что высокая плотность записи данных

означает, что промежуток между секторами

и дорожками сравнительно

мал (сопоставим с погрешностями механизма перемещения и тепловым

расширением), и поэтому правильность позиционирования определяется

Если контроллер не успевает завершить обработку передачи и подготовиться к передаче данных,

размещаемых на физически следующем секторе, то придется ожидать завершения полного оборота

диска. С целью исключения таких потерь диск форматируется так, что логически последовательные

секторы разделены одним или несколькими физическими секторами (коэффициент чередования) так,

что контроллер будет готов выполнить операцию со следующим логическим сектором не ожидая до-

полнительного оборота.

по служебным данным заголовка

сектора, считываемым до начала пе-

редачи прикладных данных;

3. Пересылка данных, расположенных в области кластера, в бу-

фер, который физически может быть как частью устройства, так и обла-

стью оперативной памяти;

4. Завершение операции (проверка корректности чтения, например

по контрольной сумме) и возврат управления ОС для обработки считан-

ных данных;

5. Выделение системой данных, относящихся к затребованным за-

писям. Причем во многих случаях в системный буфер считываются не

только данные логической записи, нужные прикладной программе, но и

соседние. Это позволяет сократить суммарные затраты времени при чте-

нии нескольких записей, исключив наиболее долгую операцию пози-

ционирования. Указание на такое блокирование может выдаваться явно

прикладной программой при открытии файла, или операционной систе-

мой, использующей собственные механизмы кэширования для оптими-

зации

ввода-вывода;

6. Передача в рабочую область прикладной программы данных за-

прошенной ею логической записи или указателя на соответствующую

область памяти в системном буфере.

В этой последовательности наиболее медленными операциями яв-

ляются механическое позиционирование головок и чтение данных с по-

верхности носителя (выполняемые на порядки медленнее, чем операции

пересылки). Поэтому выигрыш во времени может быть получен только в

случае выполнения ряда запросов на доступ к данным, причем экономия

может достигаться следующими путями:

1. Суммарным сокращением перемещения головок за счет органи-

зации такой последовательности обращения к записям (или такого по-

рядка их физического размещения), когда перемещение от текущего по-

ложения к следующему будет минимальным;

2. Формированием логических записей таким образом, чтобы их

формат (длина данных) соответствовала физическому формату хране-

ния. В случае кратности длин, т.е. если длина логической записи будет

кратной длине кластера или в кластере будет размещаться целое число

записей, будет исключена передача данных, не запрошенных текущей

операцией.

Такой подход форматирования (разметки) пространства внешней памяти используется и в случае

таких устройств «истинно» последовательного доступа, как магнитные ленты, для обеспечения уско-

ренного «прямого» доступа к сектору по его номеру – прямому адресу (еще с тех времен, когда не

были созданы дисковые накопители, например, ЭВМ 2-го поколения Минск-22). При этом, поскольку

данные секторов, предшествующих нужному, передавать не надо, позиционирование будет выпол-

няться с максимальной скоростью перемещения ленты.

Автоматическое использование системы кэширования и упреждающего чтения (не учитывающее

особенности порядка обращения к данным, обусловленного алгоритмом обработки) может привести к

обратному результату, например в случае обращения к логическим записям в произвольной последо-

вательности (случайной) не соответствующей физическому следованию записей.

Непосредственное применение приведенных методов повышения

эффективности, тем не менее, достаточно ограничено по целому ряду

причин. По мере добавления новых типов данных или при появлении

новых приложений структура записей должна будет меняться. Требова-

ния к обработке изменяются случайным образом. Если возникает необ-

ходимость модификации выбранных структур данных, то приходится

соответственно переписывать и отлаживать прикладные программы.

Чем больше количество прикладных программ имеется в наличии, тем

более дорогой становится эта процедура. Кроме того, логическая струк-

тура записей стала бы зависимой от параметров физической структуры

носителя, и планирование эффективной физической организации для

конкретной структуры данных потребовало бы уже знаний системного

аналитика.

Практическое решение состоит во введении контролируемой

функциональной и информационной избыточности, обеспечивающей

сокращение времени доступа за счет: 1) специализации компонент уп-

рощение процедур преобразований, и 2) за счет построения вспомога-

тельных структур (в той или иной степени дублирующих основную ин-

формацию). Основой этого подхода является принцип выделения и

представления описательных составляющих в виде самостоятельных

операционных объектов, хранимых отдельно от определяемых ими дан-

ных

2.3. Эволюция концепций обработки данных

Характер возможных представлений данных и архитектурные ре-

шения, отражающие степень специализации компонент управления, хо-

рошо иллюстрируется представленной в [14] эволюцией концепций об-

работки данных.

С появлением в конце 60-х годов понятия база данных взаимо-

связь файлов (логических) и наборов данных (физических файлов) рас-

сматривается в контексте неизбыточности и независимости данных, их

защитой и возможностью доступа в реальном времени.

Сюда относятся не только определения данных в виде описаний типов, схем баз данных, разделов

деклараций, но и упомянутые ранее описания физической и логической структуры носителя, пара-

метры подсистемы ввода-вывода и т.д.

2.3.1. Простые (линейные) файлы данных (начало 60-х годов)

Файл логических Файл физических

записей записей

Для линейных «простых» файлов организация хранения и доступа

характеризуется следующими особенностями.

Записи в файлах размещаются и обрабатываются последовательно.

Физическая структура хранения данных точно такая же, как логическая.

Программное обеспечение ввода-вывода выполняет только опера-

ции физического чтения-записи. При обновлении отдельной записи

файл всегда перезаписывается на другой носитель, а предыдущие поко-

ления данных сразу не уничтожаются.

Прикладной программист определяет физическое расположение

данных и включает формирование физической структуры в прикладные

программы. Если структура данных или запоминающее устройство из-

меняется, прикладную программу необходимо переписать.

Наборы данных обычно создаются и оптимизируются для одного

приложения. Одни и те же данные редко используются для нескольких

приложений.

2.3.2. Методы доступа к записям (конец 60-х годов)

Этот этап характеризуется изменением природы файлов и уст-

ройств. Появляются дисковые устройства с прямым доступом и возмож-

ностью обновления «по месту изменений», а программное обеспечение

позволяет без перекомпиляции программы изменять расположение на-

бора данных, но без изменения структуры записей и типа организации

набора.

Логический Последовательный Логический Наборы данных

файл набор данных файл прямого доступа

Организация хранения и доступа в этом случае характеризуется

следующими особенностями.

Логическая и физическая структуры файла различаются между со-

бой, но взаимосвязь между ними достаточно простая. Запоминающее

устройство можно менять без изменения прикладной программы.

Файл создается в прикладной программе как набор данных с по-

следовательным, индексно-последовательным или с прямым доступом

(по физическому адресу). Возможен последовательный или произволь-

ный доступ к записям (но не к полям). Поиск по многим ключам, как

правило, не используется. Если используются иерархические файлы, то

взаимосвязь «исходный – порожденный» программируется в приклад-

ной программе.

Типовое программное обеспечение системы обработки данных

представляет собой методы доступа, но не «управление данными». Дан-

ные в основном разрабатываются и оптимизируются для одного прило-

жения.

Средства обеспечения защиты данных недостаточно надежны.

2.3.3. Первые системы управления базами данных (начало 70-х годов)

Для этого этапа характерно изменение представления о назначе-

нии и возможностях систем управления данными. По мере развития

средств обработки данных становилось ясно, что прикладные програм-

мы желательно сделать независимыми не только от изменений в аппа-

ратных средствах хранения, но также и от добавления к хранимым дан-

ным новых полей и новых взаимосвязей. Система должна быть способна

обрабатывать новые типы запросов пользователей.

Логические Физическая

файлы база

прикладных данных

программ

Организация хранения и доступа в случае систем управления дан-

ными характеризуется следующими особенностями.

Различные логические файлы могут быть получены из одних и тех

же физических данных. Доступ к одним и тем же данным может осуще-

ствляться различными приложениями по различным путям, отвечающим

требованиям этих приложений.

Данные адресуются на уровне полей и групп. Можно использовать

поиск по многим ключам.

Физическая структура данных независима от прикладных про-

грамм. Ее можно изменять с целью повышения эффективности базы

данных, не модифицируя при этом прикладные программы. Использова-

ние сложных форм организации данных не требует усложнения при-

кладных программ.

Элементы данных являются общими для различных приложений.

Отсутствие избыточности способствует целостности данных.

2.3.4. Системы управления базами данных

Требования к системе основываются на том, что структура базы

данных является менее статичной, чем файловая структура. Элементы

хранимых данных и способы их представления непрерывно изменяются.

Из одних и тех же данных могут быть получены различные логи-

ческие файлы, а доступ к одним и тем же данным со стороны различных

приложений может осуществляться различными путями, отвечающими

требованиям этих приложений. Это часто приводит к созданию сложных

структур данных. Независимо от того, каким образом данные организо-

ваны на самом деле, прикладной программист должен представлять себе

файл в виде сравнительно простой структуры, которая спланирована в

соответствии с требованиями его приложения.

Программное обеспечение баз данных должно располагать средст-

вами отображения файлов структуры прикладного уровня в такую физи-

ческую структуру данных, которая эффективно запоминается на реаль-

ном носителе, и наоборот.

Для этого вводятся два уровня независимости данных.

Логическая независимость данных означает, что общая логическая

структура данных может быть изменена без изменения прикладных про-

грамм (изменение, конечно, не должно заключаться в удалении из базы

данных таких элементов, которые используются прикладными програм-

мами).

Физическая независимость данных означает, что физическое рас-

положение и организация данных могут изменяться, не вызывая при

этом изменения ни общей логической структуры данных, ни приклад-

ных программ.

Система обеспечивает привязку данных — связывание физическо-

го представления данных с программой, которая эти данные использует,

путем преобразования обращения прикладной программы к логической

записи или к элементам логической записи в машинные обращения к фи-

зической записи и ее элементам.

Логические файлы Глобальное Физическая

прикладных логическое база

программистов описание данных данных

Концептуальная

схема

Независимость Независимость

логических физических

данных данных

Физическая и логическая независимость данных обеспечивается

программными средствами. Допускается существование глобального ло-

гического представления данных. Предусматривается использование

языка описания данных для администратора базы данных, языка команд

для прикладного программиста и языка запросов для пользователя.

Для систем управления базами данных также характерны следую-

щие особенности:

1) Так как базы данных конструируются для выдачи ответов на не

запланированные заранее запросы, то используются дополнительные

функционально-ориентированные структуры, например, инвертирован-

ные файлы, позволяющие осуществлять быстрый поиск в базе данных

по некоторым не основным ключам.

2) Вводятся средства администрирования, которые позволяют

управлять системой (в том числе управление защитой, секретностью,

целостностью и безопасностью данных); проектировать структуры, оп-

тимальные для пользователей, обеспечивать импорт-экспорт и переме-

щение данных.

2.4. Схема управления данными в СУБД

Рассмотрим примерную последовательность операций, обеспечи-

вающих чтение прикладной программой из базы данных, представлен-

ную на рис. 2.2.

¾ (1) Прикладная программа (клиентское приложение) формирует

и выдает системе управления базами данных запрос на чтение необхо-

димых данных, содержащихся в базе.

¾ (2-3) СУБД отыскивает описание затребованных данных в

структуре описания данных прикладного уровня (внешняя модель).

¾ (4-5) СУБД по глобальному описанию БД (концептуальная схе-

ма) определяет необходимые данные на логическом уровне.

¾ (6-7) СУБД по описанию физической структуры БД (физическая

модель) определяет физическую запись (или совокупность записей), ко-

торую необходимо считать для выборки данных, затребованных при-

кладной программой.

¾ (8-9) СУБД через подсистему управления потоками данных вы-

дает операционной системе запрос на чтение хранимой записи.

¾ (10-11) Подсистема управления вводом-выводом операционной

системы осуществляет физическое чтение записи в системный буфер

ОС.

¾ (13) СУБД выделяет необходимую логическую запись, осуще-

ствляет форматные преобразования, обусловленные различиями описа-

ний на глобальном и прикладном уровнях, и передает для функциональ-

ной обработки приложением данные в рабочий буфер, выделяемый при-

кладной программой или самой СУБД.

Рис. 2.2. Схема обработки запроса на выборку данных из БД

2.5. Данные и управление их обработкой

2.5.1. Типы, форматы, структуры данных

Структура информационных единиц, обрабатываемых на ЭВМ,

определяется следующими понятиями:

- тип данных, или совокупность соглашений о программно-

аппаратурной форме представления и обработки а также ввода, контроля

и вывода элементарных данных;

- структуры данных - способы композиции простых данных в аг-

регаты и операции над ними;

- форматы файлов - представление информации на уровне взаи-

модействия операционной системы с прикладными программами;

Типы данных. Ранние языки программирования - Фортран, Алгол

были ориентированы исключительно на вычисления и не содержали

развитых систем типов и структур данных. Типы числовых данных Ал-

гола: INTEGER (целое число), REAL (действительное) - различаются

СУБД

Элементы данных

Рабочий буфер

Внешняя модель

Системный буфер

База данных

ОС

онцептуальная

модель

Физическая модель

Управление

данными

Управление досту-

пом

Управление

вводом-

выводом

Клиентское

приложение

Структуры

данных приложения

диапазонами изменения, внутренними представлениями и применяемы-

ми командами процессора ЭВМ (соответственно арифметика с фиксиро-

ванной и плавающей точкой). Нечисловые данные представлены типом

BOOLEAN - логические, имеющие диапазон значений {TRUE, FALSE}.

Появившиеся позже ЯП COBOL, PL/1, Pascal уже предусматри-

вают новые типы данных:

- символьные (цифры, буквы, знаки препинания и пр.);

- числовые символьные для вывода,

- числовые двоичные для вычислений,

- числовые десятичные (цифры 0 - 9) для вывода и вычислений.

Структуры данных. В ЯП Алгол были определены два типа

структур: элементарные данные и массивы (векторы, матрицы, тензоры,

состоящие из арифметических или логических переменных). Основным

нововведением, появившимся первоначально в Коболе, (затем PL/1,

Паскаль и пр.) являются агрегаты данных (структуры, записи), пред-

ставляющие собой именованные комплексы переменных разного типа,

описывающих некоторый объект или образующих некоторый достаточ-

но сложный документ.

Термин запись подразумевает наличие множества аналогичных по

структуре агрегатов, образующих файл (картотеку), содержащих данные

по совокупности однородных объектов, элементы данных образуют по-

ля, среди которых выделяются элементарные и групповые (агрегатные).

Появление СУБД и АИПС приводит к появлению новых разно-

видностей структур:

- множественные поля данных;

- периодические групповые поля;

- текстовые объекты (документы), имеющие иерархическую

структуру (документ, сегмент, предложение, слово).

Форматы файлов. В зависимости от типа и назначения файлов и

возможностей ОС (методов доступа) файл может передаваться в при-

кладную программу как целое, или блоками (физическими записями)

либо логическими записями (строками, словами, символами).

Например, в системе OS/360 основную роль играли два типа фай-

лов:

- символьные (исходные программы или данные);

- двоичные (программы в машинных кодах).

В современных системах активно используется значительно боль-

шее разнообразие файлов, например, текстовые файлы - обобщенное

название для простых и размеченных текстов, ASCII-файлов и других

наборов данных символьной информации, которые интерпретируются и

обрабатываются текстовыми редакторами, процессорами, анализатора-

ми.