Максимов Н.В., Голицына О.Л., Васина Е.Н. Управление данными

Подождите немного. Документ загружается.

321

Карты свободного пространства

Карта свободного пространства (Page free space page, PFS) отра-

жает степень заполнения страниц. Каждая PFS-страница хранит инфор-

мацию о 8000 страницах - по одному байту на страницу. Каждый байт

представляет собой битовую карту, которая сообщает о степени занято-

сти страницы и о том, принадлежит ли она объекту.

Карта распределения размещается с первой страницы файла БД.

Страницы повторяются через каждые 8000 страниц.

Первая страница PFS после стандартного заголовка страницы со-

держит заголовок файла (его описание), затем размещается сам блок

PFS. Вторая страница — это GAM, третья — SGAM. Карты распределе-

ния экстентов повторяются через каждые 512 000 страниц.

Карты размещения

Для организации связи между экстентами и расположенными на

них объектами используются индексные карты размещения (Index Allo-

cation Map, IAM). Каждая таблица или индекс имеют одну или более

страниц IAM. В каждом файле, в котором размещаются таблица или ин-

декс, существует минимум одна карта размещения для этой таблицы или

индекса. Страницы IAM размещаются произвольно внутри файла и от-

водятся по мере необходимости. IAM объединены друг с другом в це-

почку двунаправленными ссылками. Указатель на первую карту разме-

щения содержится в поле FirstlAM системной таблицы Sysindex.

Каждая IAM описывает некоторый диапазон экстентов и пред-

ставляет собой битовую карту: если бит установлен в 1, то в данном экс-

тенте есть страницы, принадлежащие данному объекту, если в 0 — то

нет.

Все страницы размещения не связаны напрямую с некоторым объ-

ектом БД, они соответствуют некоторой системной информации, поэто-

му параметр «идентификатор объекта» для всех этих страниц одинаков и

равен 99.

Страницы данных

Страницы данных используются для хранения собственно данных.

Структурно страницу данных можно подразделить на три зоны: заголо-

вок, строки данных и таблицу размещения строк (слоты). Связь между

страницами и объектами реализует специальная структура — карты раз-

мещения.

Строка данных должна полностью умещаться на странице, поэто-

му существуют ограничения на длину строки. Размер страницы 8 Кбайт,

96 байт занимает заголовок. Кроме того, в таблице размещения каждому

322

слоту отводится по 4 байта для каждой строки, размещенной на страни-

це.

Строки данных на странице не обязательно хранятся непрерывно.

При удалении строки пустое пространство помечается как свободное и

потом его может занять новая строка, перемещения строк не происхо-

дит. Адрес (смещение) на странице и длина строки фиксируется в слоте

(Slot).

Если таблица не имеет кластеризованного индекса, то номер слота

является идентификатором строки, пока не будет удалена соответст-

вующая строка. Если же таблица имеет кластеризованный индекс, то

слоты располагаются в порядке, задаваемом индексом.

Первые страницы данных таблиц БД расположены не подряд: сра-

зу за первой страницей данных таблицы следует ее индексная карта раз-

мещения.

Для более эффективного управления дисковым пространством

SQL Server не выделяет создаваемым таблицам сразу целый экстент. Для

новой таблицы или индекса, как правило, выделяется место на смешан-

ном экстенте. Когда объем таблицы или индекса увеличивается до вось-

ми страниц, все последующие выделяемые экстенты будут однородны-

ми. Соответственно, если на смешанных экстентах места нет, а объем

таблицы не достиг еще восьми страниц, то выделяемый новый экстент

будет объявлен смешанным. Например, таблица занимает две страницы

на смешанном экстенте, и в нее еще добавляется сразу шесть записей, то

если свободных страниц на смешанных экстентах нет, будет выделен

новый смешанный экстент, и на нем разместятся 6 записей. Потом, если

добавляется еще одна запись, будет выделен полный новый однородный

экстент, и на нем размещена эта новая запись.

Строки данных

Данные хранятся на страницах в виде строк. Каждая строка кроме

собственно данных хранит дополнительную форматирующую информа-

цию. Длина строки зависит от типов полей таблицы. Независимо от объ-

явления, каждая строка имеет поле с количеством полей переменной

длины (к ним относятся также поля фиксированной длины, допускаю-

щие неопределенные значения NULL, которые при этом резервируют

пространство, указанное в определении поля).

Фиксированные поля вместе с описателями хранятся до полей пе-

ременной длины. Поля фиксированной длины всегда занимают свою

полную длину, значение NULL задается специальным флагом.

В каждой строке хранится общая длина строки и текущие длины

полей переменной длины. Данные считываются последовательно с на-

чального адреса.

323

Вторая часть — это необязательная область, она существует толь-

ко тогда, когда имеются в записи поля переменной длины, и включает:

− указатель на местоположение полей переменной длины;

− собственно значения полей переменной длины.

Текстовые страницы

Текстовая страница может содержать несколько текстовых полей.

Строка данных содержит указатель на корневую структуру. Собст-

венно данные хранятся в виде сбалансированного В-дерева.

Данные длиной менее 64 байт хранятся в корневой структуре.

Для данных до 32 Кбайт корневая структура может адресовать 4

блока данных (это не экстенты страниц) до 8 Кбайт каждый. Блоки на-

ращиваются до 8 Кбайт (реально на одной текстовой странице может

быть размещено до 8080 байт).

Если же длина текстового поля более 32 Кбайт, то строятся про-

межуточные узлы.

Индексы

Кластеризованный индекс представляет собой двоичное дерево, в

котором на нулевом уровне (уровне листьев) содержатся страницы ак-

туальных данных таблицы, а физическое расположение информации в

данном индексе логически упорядочено.

В случае некластеризованных индексов страницы уровня листа

содержат не актуальные данные таблицы (как в случае кластеризованно-

го индекса), а указатель на строку данных, включающий номер страни-

цы данных и порядковый номер записи на станице. Некластеризованный

индекс не требует физического переупорядочения строк данных табли-

цы.

Двоичные деревья являются динамически поддерживаемыми

структурами, т.е при вставке, удалении или обновлении строк данных

информация в индексах также должна быть изменена для отражения

выполненных в таблице изменений. Для обработки страниц индексов

требуются дополнительные операции ввода-вывода.

Но при разбивке

страницы кластеризованного индекса не требу-

ется вносить изменения в информацию некластеризованных индексов,

так как в SQL Server 7 эти дополнительные операции ввода-вывода пол-

При добавлении в кластеризованный индекс данные вставляются в таблицу в правильной физиче-

ской последовательности, соответствующей логической упорядоченности индекса. Поэтому может

потребоваться сместить остальные строки таблицы вверх или вниз, в зависимости от места вставки

данных. Все это связано с выполнением дополнительных операций ввода-вывода, необходимых для

обработки данных индекса. Со временем, по мере накопления данных на странице, при вставке оче-

редной записи может потребоваться разбить информацию страницы на две части, так как для новой

записи уже не будет хватать свободного места. В результате часть записей данных будет перенесена

на новую страницу. В предыдущих версиях SQL Server эта ситуация сопровождалась обновлением

данных во всех некластеризованных индексах таблицы с целью отражения перемещения части строк

на новую страницу.

324

ностью исключены за счет использования в некластеризованных индек-

сах значений ключей кластеризованного индекса вместо номеров физи-

ческих страниц в случае, когда таблица имеет оба типа индексов.

Индексы таблиц хранятся в виде страниц. Каждая страница разме-

ром 8192 байт включает заголовок, имеющий длину 96 байт. Еще один

фрагмент страницы используется для размещения других структур дан-

ных, например информации о переполнении строк. Вся оставшаяся часть

страницы (8060 байт) предназначена для размещения данных. Каждая

строка включает элемент индекса (значение индексируемого поля таб-

лицы) и идентификатор RowID (включающий идентификатор файла,

номер страницы, номер строки), указывающий на соответствующую за-

пись в таблице.

Организация и оптимизация доступа к данным

Вследствие объективно существующей разницы в скорости работы

процессоров и оперативной памяти с одной стороны, и устройств внеш-

ней памяти с другой, буферизация страниц базы данных в оперативной

памяти — единственно реальный способ достижения удовлетворитель-

ной эффективности СУБД. Кроме этого используется механизм распре-

деленного хранения информации - расщепления данных между файлами

и файловыми группам, физически размещаемыми на разных устройствах

или RAID-массивах. Логически такое устройство представляется как

единое целое, но на самом деле состоит из нескольких физических дис-

ков. Данные на дисках размещаются блоками одной длины и таким об-

разом, легко могут быть распределены по всем дискам.

Стратегия буферизации, применяемая в операционных средах, не

соответствует целям и задачам СУБД, поэтому для оптимизации обра-

ботки данных одной из главных задач СУБД является создание эффек-

тивной системы управления процессом буферизации.

Память, управляемая СУБД, состоит из нескольких типов буфе-

ров:

− буфера страниц данных, с которыми работает СУБД;

− буфера страниц журнала транзакций, которые отражают про-

цесс выполнения транзакции — последовательности операций над БД,

переводящей БД из одного непротиворечивого состояния в другое не-

противоречивое состояние;

− системные буферы, которые содержат общую информацию о

БД, о пользователях, о физической структуре БД, о базе метаданных.

Если бы запись об изменении базы данных реально немедленно

записывалась во внешнюю память, это привело бы к существенному за-

медлению работы системы. Поэтому записи в журнал тоже буферизуют-

ся: при нормальной работе очередная страница выталкивается во внеш-

нюю память журнала только при полном наполнении записями.

325

Но поскольку имеются два вида буферов, содержащих взаимосвя-

занную информацию — буфер журнала и буфер страниц оперативной

памяти, которые могут выталкиваться во внешнюю память, буферы вы-

деляются не для каждого пользовательского процесса, а для всех про-

цессов сервера. Это позволяет увеличить степень параллелизма при ис-

полнении клиентских процессов.

П3. Документальная информационно-поисковая система

Организация данных и механизмы поиска в базах данных доку-

ментальных информационных систем, построены на тех же принципах,

что и фактографические системы. Однако в физической реализации есть

и существенные отличия, которые обусловлены в первую очередь ин-

формационной природой элементов данных:

1. Запись базы данных – документ, который задается как набор в

общем случае необязательных полей, для каждого из которых определе-

ны имя и тип. Допустимы большинство стандартных типов (так назы-

ваемые «форматные» поля, задающие числовые, символьные и другие

величины), а также текстовые. Текстовые поля имеют переменную дли-

ну и композиционную структуру, не имеющую прямых аналогов среди

стандартных типов языков программирования: текстовое поле состоит

из параграфов; параграф - из предложений; предложение - из слов. При

этом идентифицируемым (адресуемым атомарным) элементом данных с

точки зрения хранения будет поле, а с точки зрения поиска (атомарным

семантически значимым) – слово. Вследствие этого поисковые структу-

ры строятся в виде инвертированных файлов.

2. Семантическая природа текстовых полей, представляющих

смысл в основном на естественном языке, определяет необходимость

учитывать важнейшие свойства используемых терминов: синонимию,

полисемию, омонимию, контекстную обусловленность смысла отдель-

ного слова и возможность выразить один смысл многими способами.

Вследствие этого поисковые индексы могут быть отличны от соответст-

вующих словоформ поля.

На рис. п.1 приведена принципиальная схема организации данных

для представления и поиска информации диалоговой системы поиска

документов STAIRS (Storage and Information Retrieval System), разра-

ботанной фирмой IBM в 70-х годах. Данная структура характерна и для

большинства современных АИПС.

326

Рис. п1. Организация данных в диалоговой системы поиска документов

STAIRS

Физическая структура БД рассматриваемой системы включает в

себя четыре файла операционной системы:

- файл частотного словаря, устанавливающий соответствие между

словом, встречающимся в БД, его кодом и частотой, используется при

текстовом поиске;

- инверсный (инвертированный, обратный) список, содержащий

для каждого слова БД список документов, его содержащих, использует-

ся при текстовом поиске;

- текстовый файл, содержащий собственно документы, использу-

ется при выдаче (просмотре) документов;

- прямой, последовательный файл, содержащий "собранные" в

одну строку фиксированной длины форматные поля и список двухбай-

товых кодов слов, находящихся в тексте данного документа. При необ-

ходимости, в соответствующих местах находятся разделители сегментов

и/или предложений. Файл используется при форматном поиске и при

наличии в запросах конструкций SENT, SEGM, CTX.

На рис. п.2 детально представлен словарь слов, в котором содер-

жится перечень слов, встречающихся в документах. Ввиду значитель-

ных размеров словаря его организация должна предусматривать наличие

специального индекса, представленного матрицей пар знаков. Каждой

паре знаков поставлен в соответствие указатель на блок словаря, содер-

жащий группу слов, начинающихся с этих знаков. Знаками могут быть

буквы, цифры, а также специальные символы. Второй знак может быть

пробелом. Группы слов в словаре имеют переменную длину. Первые два

знака слов, содержащихся в словаре, отсутствуют, но они показаны на

327

рисунке, чтобы облегчить понимание структуры файла. Некоторые сло-

ва в словаре могут иметь одинаковый смысл; такие слова связаны с по-

мощью специального указателя «синоним» (на рисунке связи данного

типа показаны штриховыми стрелками).

Каждому слову поставлен в соответствие указатель на списки эк-

земпляров, являющихся перечнем документов, в которых встречается

данное слово. Каждый список экземпляров содержит заголовок, из кото-

рого можно узнать число экземпляров слова во всем файле документов,

а также число документов, в которых это слово встречается.

Система присваивает каждому документу уникальный номер. Этот

номер является внутрисистемным и не связан с номерами, по которым

пользователь может получить данный документ где-нибудь вне системы.

В списке экземпляров, соответствующем какому-либо слову, содержатся

внутрисистемные номера всех документов, в которых оно встречается.

Поисковый критерий может включать требование поиска всех докумен-

тов, содержащих одновременно два специфических слова. Например,

можно осуществлять поиск документа, в котором содержится как слово

ORANGUTANG, так и слово OSTRICH. В этом случае система находит

множество документов, содержащих первое слово, а затем множество

документов, содержащих второе слово, и путем их пересечения опреде-

ляет множество документов, содержащих как первое, так и второе слово.

328

Рис. п.2. Организация поисковых индексов АИПС STAIRS

Словарь содержит

указатели на списки

экземпляров каждого

слова. Словарь не

должен содержать все

слова, встречающиеся

в документах. Сино-

нимы связаны указате-

лями.

Число документов

Число экземпляров слов

119

203

216

Внутрисистемный но-

мер документа

Код параграфа

Номер предложения

Номер слова

Число документов

Число экземпляров слов

100

107

Ъ A B C----R S---8 9

A 1 2 3 4

B 39 40 41 42

C 77 78

550 551

1404 1405 1

указатели на

адреса слов

oreodonts

Управляющее

поле 550-й пары

знаков

Указатели на

адреса слов

oran

utan

Ordovician-

oran

utan

omithoni-

orohi

omitho-

suchus

omithorh

Orson-

Управляющее поле

551-й пары знаков

ostracodrms

Ostele

ostracion

Ostrtich

Os-360

Strathio camelus

Число документов

Число экземпляров слов

101

105

108

203

214

216

290

310

Список экземпляров одного

слова может содержать тысячи

ссылок на документы, в которых

встречается это слово. Если

критерий отбора докумета

содержит несколько слов, то

осуществляется слияние

Матрица пар знаков выполняет функцию индекса

высшего уровня при вхождении в словарь слов

329

Рис. п.3. Организация поисковых файлов документов АИПС STAIRS

На рис. п.3 показан файл документов, каждому из которых систе-

ма сама присваивает внутренний порядковый номер. Документы состоят

из параграфов и текстов, причем тексты также пронумерованы. Каждому

параграфу присвоен специальный код, определяющий его тип (напри-

мер, заголовок, автор, аннотация и т. д.).

Внутрисистемный номер документа является ключом к индексу

документов. Этот индекс содержит адреса соответствующих докумен-

тов в памяти. В принципе можно хранить эти адресные указатели не-

посредственно в списке экземпляров, но это нецелесообразно, так как

объем памяти, необходимый для хранения адреса, больше объема па-

мяти, необходимого для хранения номера документа. Индекс докумен-

тов содержит не только адреса, а также некоторые вспомогательные све-

дения о документах. К этим сведениям относятся внешний номер доку-

мента, признак удаления документа, указывающий, какие параграфы до-

кумента (или документ в целом) исключены из файла, а также уровень

секретности.

В состав документов могут входить параграфы различных типов,

поэтому пользователь может потребовать, чтобы заданное слово со-

201

202

203

204

205

206

207

208

209

210

211

212

213

214

215

216

217

218

219

220

221

222

223

224

225

226

227

228

Заголо-

вок тек-

ста

Заголовок

параграфа

текст

Заголовок

параграфа 2

текст

Заголовок парагра-

фа3

текст

Заголовок

параграфа 1

текст

Заголовок

документа

Заголовок

параграфа

текст

Заголовок текст

330

держалось в названии документа, аннотации, введении или каком-либо

конкретном параграфе. В критерии отбора можно указывать автора, ме-

сто издания документа и дату издания. Независимо от содержания кри-

терия отбора поиск документа осуществляется на уровне списка экземп-

ляров без необходимости входа в файл документов.

П4. Интегральный банк юридической информации ЮРИУС

С логической точки зрения банк имеет «стандартную» структуру и

включает две компоненты: регистрационные карты (РК) и полные тек-

сты.

РК представляют собой форматированные записи, содержащие

относительно стандартный набор библиографических данных, а также

ссылку на соответствующий полный текст (Рис. п.3).

Полные тексты документов состоят из страниц двух типов:

- логических, т.е. структурных единиц текста - пункт, параграф,

статья;

- физических - принудительное разбиение длинного неструкту-

рированного текста на фрагменты одинаковой длины).

Кроме этого имеется возможность отнесения документа к тому

или иному тому Свода законов (с номерами 1 - 10). Это связано с тра-

дицией выпуска Свода законов в форме десятитомного печатного изда-

ния.

База данных

ЮРИУС

Полные

тексты до-

кументов

Регистраци-

онные кар-

ты

Поля РК

Документ

№ 1

... ... Документ

№ N

Заглавие

Дата регист-

рации

Страница 1-

... ... Страница 1-

⇔

Вид доку-

мента

... ...

Физическая

страница

Логическая

страница

⇔

№ Страницы

в БД

Рис. п.4. Логическая структура БД ЮРИУС