Максимов Н.В., Голицына О.Л., Васина Е.Н. Управление данными

Подождите немного. Документ загружается.

331

Физическая структура БД ЮРИУС (Рис. п.5.) является приме-

ром реализации документальной системы в среде реляционной СУБД.

Файл текстовой части БД (SZDOC)- один или несколько файлов,

в которых содержатся полные тексты актов. На логическом уровне обра-

зует, представленную на рис. иерархическую структуру: БД (том), доку-

мент, страница.

Словарный файл текстовой части (DCFRV) - представляет собой

список слов и стандартных словосочетаний, (например “статья 256”, “п.

13”, “N 1400-РП”), извлеченных из текста, сопровождаемых частотами

появления в данной БД. Практика выделения словосочетаний при ин-

дексировании с целью включения их в словарь и инверсный список яв-

ляется достаточно известной.

Инверсный файл текстовой части (DCIND) - список кодов слов и

словосочетаний, сопровождаемых номерами страниц. Словарный и ин-

версный файл используются для сквозного полнотекстового поиска.

Справочно-поисковые файлы (СПФ) (до 9-ти различных файлов

SF1 - SF9). Стандартным является файл регистрационных карт норма-

тивных актов (РК), запись которого содержит наименование, дату, но-

мер, вид, ссылки на страницы БД и другие поля, перечень которых мо-

жет изменяться для конкретной БД.

Словарь справочно-поисковых файлов (IXFRV) содержит значения

и коды полей (например, РК) совместно с частотой появления и ссылкой

на номер файла СПФ.

Полные

тексты (ПТ)

Регистрацион-ные кар-

ты (РК)

Сло-

варь

ПТ

DCFR

Ин-

версн.

файл

ПТ

DCIND

Файл

ПТ

SZDO

Файл

РК

SF1

Слова-

ри РК

IXFRV

Инв.

файл РК

IXIND

⇑

Поиск по

ПТ

Поиск по РК

DCRE IXRZ

IXDDM IXTRC SQ1 - SQ9 Nota-

Bene

Рис. п.5. Физическая структура БД и использование файлов модулями

пользовательского интерфейса (БД НЗР)

332

Инверсный файл СПФ (IXIND) содержит коды слов и словосоче-

таний. Словарный и инверсный файлы используются для поиска записей

СПФ (РК, рубрики указателя и т.д.) с доступом к странице БД.

Файл синонимов (IXTRC) служит для расшифровки кодов или для

обеспечения двуязычного поиска в словарных файлах.

Файл описания СПФ (словарь данных IXDDM) - содержит данные

о полных, сокращенных и внутренних именах полей каждого СПФ, ти-

пах данных, разделителях слов, методах обработки числовых кодов и

т.д. Используется при поиске через СПФ и при построении словарных и

инверсных файлов.

Файлы хранимых запросов (SQ1 - SQ9) содержат запросы к СПФ

БД, отлаженные и сохраненные пользователем.

Файл заметок (NotaBene) позволяет пользователю дополнить

СПФ собственными именованными прямыми ссылками на страницы БД.

П5. Технологии индексирования текстовой информации

В рассмотренной выше документальной АИПС STAIRS использу-

ется стратегия свободного индексирования. Каждое (за исключением так

называемых стоп-слов, т.е. информационно незначимых слов, перечис-

ленных в специальном словнике) слово загружаемого в базу данных до-

кумента может использоваться в качестве индекса – ключа поиска этого

документа.

Индексирование по ключевым словам (или атрибутное индексиро-

вание) является наиболее простой и экономичной в отношении дисково-

го пространства технологией. Суть ее заключается в том, что для каждо-

го вводимого или сохраняемого документа заполняются соответствую-

щие поля в индексном файле. Заполнение осуществляется как вручную,

так и с помощью программы, выделяющей в документе по какому-либо

признаку значения ключей/атрибутов. Эта технология позволяет индек-

сировать как текстовые документы (в ручном и автоматическом режи-

мах), так и изображения (в ручном режиме). В простейшем случае клю-

чевыми словами служат название и/или имя автора документа. В более

сложных ситуациях необходимо использовать независимого эксперта

для чтения документа и выделения ключевых слов.

Серьезные ограничения при использовании этих систем связаны

со следующими обстоятельствами:

- Определение ключевых слов - достаточно субъективный про-

цесс; даже при участии самого независимого эксперта трудно избежать

односторонности при выборе ключевых слов.

- Определение ключевых слов - достаточно дорогостоящая про-

цедура (по оценкам AIIM, наиболее авторитетной организации на рынке

систем, связанных с управлением документами, это от 5 до 20 долларов

на документ) из-за невозможности автоматической индексации и низкой

производительности при определении ключевых слов вручную.

333

- Предполагается, что пользователи будут осуществлять поиск

информации предсказуемым способом, используя предопределенные

ключевые слова.

- Поиск по ключевым словам - это четкий поиск, когда пользова-

тель должен точно знать, что он ищет. Если сделана ошибка при написа-

нии ключевого слова в запросе для поиска, система никогда не найдет

нужную информацию.

- Ключевые слова могут со временем меняться (понятия, которые

были "ключевыми" вчера, вовсе не обязательно будут столь же важны

через год).

Поиск информации в таких системах происходит с использовани-

ем механизмов полнотекстового поиска, который реализуется с помо-

щью технологии индексирования на основе инвертированных структур:

при создании индексного файла в него вносятся все значимые слова (без

союзов, предлогов и т. п.) из всех документов в алфавитном порядке.

Эти слова затем объединяются в пары с указателями на документы, со-

держащие эти слова.

Цель индексирования документов – возможность их быстрого по-

иска. Индекс – это набор слов документа или о документе, по которым

этот поиск производится. Основными критериями качества индекси-

рующе-поисковых подсистем являются качество поиска (процент нере-

левантных документов в списке найденных), размер индекса по отноше-

нию к размеру документа и скорость поиска по нему.

Развитие индексирования в документальных системах происходи-

ло от ручного заполнения списка ключевых слов в системах первого по-

коления до автоматического полнотекстового индексирования сегодня,

подразумевающего сохранение всех слов текста. Несмотря на большой

пройденный путь говорить о полном решении проблемы, наверное, пока

рано.

Индексирование документа обычно организуется через автомати-

ческую обработку его текста и заполнение метаданных. Автоматическая

обработка – полнотекстовое индексирование – заключается в преобразо-

вании текста документа в набор слов. Причем обычно для слов сохраня-

ется их позиция в документе, что обеспечивает возможность поиска по

словосочетаниям. Существуют два принципиально различных метода

такого индексирования с учетом применяемых в дальнейшем методов

поиска:

- бинарное индексирование – не зависит от языка документа по

причине бинарной или словарной индексации;

- морфологическое индексирование – производится с учетом мор-

фологии и семантики языка.

При бинарном индексировании поиск ведется на основе алгорит-

мов “нечеткого поиска”, т.е. поиска с ошибками. В этом случае допуска-

ется неполное (с заданным количеством ошибок в начале, середине и

334

конце слова) совпадение слов с шаблоном. При втором методе индекса-

ции слова преобразуются в словоформы с отсечением суффиксов и

окончаний, что позволяет искать склонения и спряжения шаблонов.

Заметим, что, несмотря на несомненные плюсы, полнотекстовое

индексирование в любом своем виде имеет и существенный минус:

большое количество “мусора” в индексе, т.е. слов никак не характери-

зующих документ, а связывающих “ключевые” слова.

Эти недостатки обусловлены самой концепцией такого индекси-

рования – сохранением всего текста за исключением “стоп-слов”, под

которыми подразумеваются предлоги, союзы, местоимения и т.п. Дейст-

вительно, с одной стороны наличие в индексе всех слов текста гаранти-

рует его нахождение по любому из них, но с другой стороны встает во-

прос: “А насколько это корректно?”. Предположим, мы имеем текст о

компьютерных технологиях, в котором приведена пословица: “За двумя

зайцами погонишься, ни одного не поймаешь”. При проведении поиска

по слову “заяц” система выдаст этот документ, хотя он не будет иметь

ни малейшего отношения к фауне. Безусловно, можно найти и сотни ме-

нее экзотичных примеров.

Среди других "узких мест" можно назвать следующие:

1) Индекс, создаваемый такими системами, обычно составляет от

200 до 400% от объема исходного текста, что означает увеличение вре-

мени поиска и ресурсов компьютера.

2) Из-за необходимости "очистки" текста стоимость обработки до-

кументов достаточно велика.

3) Механизм четкого поиска через инвертированный файл не по-

зволит найти информацию, если были допущены ошибки при загрузке

текста или при написании запроса.

В начале 90-х годов появились технологические разработки, свя-

занные с индексацией и поиском документов и использующие результа-

ты, полученные в области нейронных сетей и искусственного интеллек-

та. Они позволили сформулировать принципиально новые концепции

построения систем управления неструктурированной информацией в

электронном виде.

Компания Excalibur Technologies разработала и представила на

рынке технологию адаптивного распознавания образов APRP (Adaptive

Pattern Recognition Processing), которая была положена в основу про-

граммного продукта - систему управления документами Excalibur EFS

[8]. Технология APRP основана на нейронных сетях, что позволяет не

только обойти проблемы ошибок распознавания текстов, но и предос-

тавляет возможности автоматического индексирования и поиска различ-

ных типов неструктурированной информации.

Ядро технологии APRP "выросло" из работ основателя компании

Excalibur Technologies Джеймса Дау III, посвященных изучению и раз-

работке моделей нейронных сетей, способных идентифицировать, или

335

более точно, распознавать присутствие тех или иных образов в составе

данных специального вида. Это позволило построить систему индекса-

ции общего назначения, которую можно применять к основным видам

данных, включая устную речь (голос), сигналы, тексты и изображения.

Был также создан комплекс алгоритмов, самостоятельно адаптирую-

щихся к особенностям обрабатываемой информации и позволяющих

осуществлять нечеткий поиск - поиск образов, составленных из двоич-

ных символов.

В технологии APRP под нечетким поиском понимается возможность

найти достаточно близкое приближение к запрошенному термину или фра-

зе. Нечеткий поиск устраняет для пользователя необходимость знать пра-

вильное написание каждого термина, с которым он работает. Поскольку

APRP работает не с ключевыми словами, а с образами, две-три ошибочные

буквы в слове или фразе не могут существенно изменить базовую картину

текста. Таким образом, автоматически становится исправимой ошибка, как

во входных данных, так и в терминах запроса. APRP всегда в состоянии

найти ближайшее приближение к терминам и фразам, заданным в качестве

объектов поиска. Поясним это на примере.

Даже, если мы напишем в запросе:

ЦЦЦТЕРМАРГМАСАРИТАЭЭЭЭЭЭ,

имея в виду название романа Михаила Булгакова, мы получим

правильный ответ: "Мастер и Маргарита".

Поиск происходит следующим образом:

- Запрос конвертируется в бинарную форму

- Игнорируется шум, т.е. отбрасываются ЦЦЦ и ЭЭЭЭЭЭ

- Проводится нечеткий поиск

Как реально происходит нечеткий поиск? Ранее упоминалось, что

технология APRP оперирует информацией на уровне двоичных кодов, т. е.

каждое слово для нее - это образ, состоящий из нулей и единиц. Например,

слово "пень" для нее представляется двоичным образом 10101111 10100101

10101101 11101100; а слово "печь" имеет двоичный образ 10101111

10100101 11100111 11101100 (каждая буква в слове представляется одним

байтом). Сравним двоичные образы обоих слов:

ПЕНЬ -

10101111 10100101 10101101 11101100

ПЕЧЬ -

10101111 10100101 11100111 11101100

Из 32 позиций каждого двоичного образа не совпадают только ком-

бинации из 6-ти элементов, что составляет лишь около 20% от длины дво-

ичного образа. С точки зрения технологии APRP образы этих слов очень

близки к друг другу, и в качестве результата поиска вам могут быть пред-

ложены документы, содержащие оба слова, а вы укажете, которые из них

вы имели ввиду при поиске. Приведенный пример, однако, не означает, что

вам будет предложен бесконечный список вариантов, в той или иной сте-

пени похожих на ваш запрос.

336

Литература

1. Аткинсон М., Бансилон Ф., ДеВитт Д., Диттрих К., Майер Д.,

Здоник С. Манифест систем объектно-ориентированных баз данных //

СУБД, №4, 1995.

2. Вирт Н. Алгоритмы и структуры данных: пер. с англ. – М.:

Мир, 1989.

3. Грофф Дж, Вайнберг П. SQL: полное руководство: Пер. с англ.

– 2-е изд. – К.: BHV, 2001.

4. Дейт К. Дж,.Введение в системы баз данных: пер. с англ. - 7-е

издание. – М.: Вильямс, 2001.

5. Диго С.М. Проектирование и использование баз данных: Учеб-

ник. – М.: Финансы и статистика, 1995.

6. Дунаев С.Б. Доступ к базам данных и техника работы в сети.

Практические приемы современного программирования. – М.:

ДИАЛОГ-МИФИ, 1999.

7. Зиндер Е.З. Проектирование баз данных: новые требования, но-

вые подходы. // СУБД, N3, 1996.

8. Каменнова М. Управление электронными документами: техно-

логии и решения. // Открытые системы, №4,1995

9. Карпова Т.С. Базы данных: модели, разработка, реализация. –

СПб.: Питер, 2001.

10. Ким Вон, Технология объектно-ориентированных баз данных.

// Открытые системы, №4, 1994.

11. Когаловский М.Р. Абстракции и модели в системах баз данных.

// Открытые системы, №4-5,1998.

12. Кузнецов С.Д. Основы современных баз данных.

www.citforum.ru, 2002.

13. Малкольм Г. Программирование для Microsoft SQL Server 2000

с использованием XML.: Пер. с англ. – М.:Издательско-торговый дом

«Русская редакция», 2002.

14. Мартин Дж. Организация баз данных в вычислительных систе-

мах. –М.: Мир, 1980

15. Мартин Дж. Превратите вашу компанию в киберкорпорацию. //

Computerworld Россия, ноябрь14, 1995.

16. Меллинг В.П. Корпоративные информационные архитектуры: и

все-таки они меняются. // СУБД, N2, 1995.

17. Озкарахан Э. Машины баз данных и управление базами дан-

ных. – М.: Мир, 1989.

18. Фаронов В.В., Шумаков П.В. Delphi 4. Руководство разработ-

чика баз данных. – М.: «Нолидж», 1999.

19. Фокс Дж. Программное обеспечение и его разработка. – М.:

Мир, 1985.

20. Цикритзис Д., Лоховски Ф. Модели данных. - М.: "Финансы и

статистика", 1985.

337

21. Шпеник М., Следж О. Руководство администратора баз данных

Microsoft SQL Server 2000: пер. с анг. – М.: Вильямс, 2001. 928с.

22. ANSI/X3/SPARC Study Group on Data Base Management Sys-

tems. Interim Report. FDT Bull. ASM-SIGMOD. v. 7, no. 2 (1975)

23. Chen P. P.-S. The Entity-Relationship Model – Toward a Unified

View of Data // ACM TODS. – 1976. – 1, №1.

24. CODASYL DBTG Report. – New York: ACM, 1969.

25. Codd E.F. Extending the Database Relational Model to Capture

More Meaning. // ACM Trans. Database Syst., N 4, 1979.

26. Codd E.F., Codd S.B., and Salley C.T. Providing OLAP to User-

Analyst: An IT Mandate. E.F. // Codd &Associates, 1993.

27. Hammer M., Champy J. Reengineering the Corporation. A Mani-

festo for Business Revolutions. // HarperBusiness, 1993.

28. Sowa J.F., Zachman J.A. Extending and Formalizing the Framework

for Information System Architecture. // IBM System Journal, vol. 31, no. 3,

1992.

29. Zachman. John A. A Framework for Information System Architec-

ture. // IBM System Journal, vol. 26, no. 3, 1987.