Елизаров А.М. Математические методы в библиотечной работе

Подождите немного. Документ загружается.

тальную частоту D

термина k как число документов

фонда, в которых этот термин встречается, то можно

определить взвешивающую функцию, обратную доку-

ментальной частоте, в виде F(k) = +1, где

— число документов в фонде. Эта функция припи-

сывает большие веса терминам, появляющимся лишь

в нескольких документах.

Следующая модель базируется на вычислениях

соотношения „сигнал — шум" по аналогии с теорией

передачи информации Шеннона. Точнее, для набора

из n

документов шум N

термина k опрэделяется

формулой

а сигнал S

— фэрмулой S

= logF

— N

. Шум нахо-

дится в обратной зависимости от „концентрации"

термина в наборе документов. Для равномерных рас-

пределений, когда термин встречается одинаковое

число раз в каждом документе набора, шум принимает

максимальное значение. Если термин k встречается

точно один раз в каждом документе (все f

= 1), то

= log n

. В этом случае F

= n

и S

= 0. С другой

стороны, для распределений, сосредоточенных в одной

точке (термин появляется только в одном документе

с частотой F

), шум равзн нулю, а сигнал имеет мак-

симальное значение S

= log F

. Замечено, что широкие

(неспецифичныe) термины распределяются почти

равномерно и, следовательно, порождают высокий

шум.

Близка к модели „сигнал — шум" следующая мо-

дель: если — средняя частота термина k в n

доку-

ментах, то несмещенная выборочная оценка дисперсии

есть (см. § 12) σ

= (f

— f

)

. Подходящим па-

раметром для оценки пригодности термина в данной

модели служит отношение F

/( )

, поведение кото-

рого подобно поведению „сигнал — шум".

Приведем основные способы вычисления весовых

коэффициентoв.

181

Пусть

—частота термина k в документе d

;

— число различных терминов в документе d

;

— число документов, содержащих термин k;

— суммарная частота термина k в наборе

документов;

—-число найденных релевантных документов;

—число найденных релевантных документов

с термином k;

— общее число документов.

Пусть w

— вес термина k в документе d

, а v

— вес

термина k в запросе. Весовые коэффициенты w

определяются формулами:

1. w

= l/D

(более часто встречающиеся термины

менее специфичны и, следовательно, менее важны);

2. w

— 1 (все термины документа одинаково важ

ны; этот метод часто называется отсутствием взве

шивания);

3. w

= log

+ 1 (модель Спарк Джоунс);

4. w

=1/t

(термин тем важнее для документов,

которым он приписан, чем короче текст документа);

5. w

= f

(модель X. Луна);

6. w

= f

(модель X. Луна);

7.w

относительные частотные

8. w

=характеристики;

9. w

= величивается для малочас

тотных терминов, встречающихся в малом числе до

кументов);

10. w

= f

(вес уменьшается с увеличением

числа документов, в которых встречается данный

термин);

11. w

= f

(комбинация эффектов весов 9

и 10);

12. w

= f

/(F

— f

) (вес увеличивается для ма

лочастотных терминов, встречающихся в большом.

числе документов — эффект, обратный к весу 9°).

Приведем формулы для определения весов терми-

нов запроса.

182

=l (все термины равнозначны);

=log[r

/(D

)];

=log(r

);

4. v

= log

Термин будет особенно важным, если он встречается

во многих или в большинстве найденных докумен-

тов, отмеченных как релевантные, и только в неболь-

шом числе нерелевантных документов.

При осуществлении третьей операции индексиро-

вания (соотнесения терминов с тем или иным клас-

сом) можно использовать матрицу ассоциируемости

терминов, задающую для каждой пары терминов

соответствующий показатель ассоциируемости. Если

он превосходит по величине некоторый заранее за-

данный порог, можно считать соответствующие тер-

мины имеющими достаточно высокую степень ассо-

циируемости, объединить их в один класс и в тех

случаях, когда в ПП имеется один из рассматриваемых

терминов, автоматически добавлять в него другой.

Наиболее употребительным является следующий

коэффициент ассоциируемости:

Легко видеть, что 0≤ f(j, k)≤ 1 для любых терминов j и k.

Приведем пример матрицы ассоциируемости для

четырех терминов А, В, С, D. По построению она должна

быть симметрична относительно главной диагонали,

которая всегда состоит из единиц. Пусть дано ПП в

виде вектора q = (4, 2, 1, 1). В результате применения

матрицы ассоциируемости первоначальные веса

терминов А, В, С, D (т. е. 4, 2, 1, 1) переходят в веса 5

, 2

183

определяемые по правилу перемножения матриц (см.

§ 2, п. 2).

Относительно операции, связанной с заданием отно

шений между терминами, заметим, что она регламен

тируется задачами, решаемыми той или иной конкрет

ной ИПС. Например, в ИПС, осуществляющей поиск

авторов книг, в качестве дескрипторов выступают фа

милии авторов, а отношениями между дескрипторами

могут быть: лексикографическое отношение „фамилия

х предшествует фамилии у", библиографическое отно

шение „х - соавтор писателя у" и т. д.

В заключение опишем свойства критерия выдали и

стратегию поиска (см. также [22], гл. 4, п. 7). Критерий

выдачи (соответствия) — это формальное правило,

в соответствии с которым в информационном массиве

определяются документы, релевантные поступившему

в систему запросу. Различают три теоретико-множест-

венных критерия выдачи (при этом ПОД и ПП за-

просов понимаются как подмножества лексики ИПЯ):

1) критерий „на совпадение"; ПОД=ПП;

2) критерий „на включение": ПОД ПП;

3) критерий „на пересечение": ПОД∩ПП≠Ø.

Последний критерий часто усиливается за счет

вычислительных операций, выполняемых в процессе

поиска. Допустим, в ИПС применяется шкала весовых

коэффициентов указанного выше типа, имеющая 10

положительных значений, а ПП представлено в виде

лексических единиц А, В, С, D, Е с весами 5, 7, 1, 10,

8 соответственно. Зададим пороговую величину Т

=15.

Тогда возможны следующие случаи:

— в ПОД содержатся термины А, В, С, для которых

сумма весов меньше 15; это означает, что документ

не должен выдаваться;

— в ПОД содержатся термины В, Е, D —документ

безусловно должен выдаваться.

Теоретико-множественные критерии выдачи неудоб-

ны для моделирования логических операций. В то же

время особенностью многих ИПС является возмож-

ность осуществления различных логических операций

над лексическими единицами ПП. Реализовать эту

возможность весьма важно, т. к. по смыслу запроса

часто требуется ввести в ПП логические операторы.

С этой точки зрения различают следующие логичес-

кие критерии выдачи:

184

— логическая сумма: нужно найти документы, в

ПОД которых содержатся либо лексическая единица

А, либо В, либо С и т. д. В этом случае ПП = А В

...

Z. Логическое сложение осуществляется

в результате объединения результатов одноаспектных

поисков по Д, В, и т. д.;

— логическое умножение: нужны документы,

в ПОД которых должны одновременно содержаться

лексические единицы А, В, С и т. д. Имеем ПП=А

В С... Z. Логическое умножение слов ИПЯ проис-

ходит при реализации критериев на „включение" и

„пересечение";

— логическое сложение и умножение — объеди

нение двух предыдущих критериев; ПП— (A

v .. vА

) (В

... В

) ...

... Z

);

— логическая разность: найти сообщение, содер

жащее лексические единицы А и B, но не имеющее

единицы С. Имеем ПП= А В

- поиск с учетом заданных интервалов; найти

сообщение, в котором количественный признак А

находится в данных пределах. Если р

, p

— границы

интервала поиска, то ПП — р

≤ А ≤ р

Другой подход при описании критерия соответст-

вия содержится в выборе корреляционных критериев,

определяющих степень подобия ПОД и ПП с исполь-

зованием введенных выше весовых коэффициентов.

Этот случай отражает релевантность документа дан-

ному запросу.

Упорядочим в матричной форме индивидуальные

веса w

и v

терминов документов и запросов (М —

число терминов) (табл. 35).

Таблица 35

Пусть V=(v

, ..., v

) и W

= (w

, ... , w

) — взвешен-

ные вектора запроса и документов. Обозначим

185

Термины

Документ

Запрос

Корреляционные функции могут быть системати-

зированы по трем классам:

а) функции, базирующиеся исключительно на весах

терминов запроса;

б) функции, базирующиеся на весах всех терминов

или запроса, или документа, или их вместе;

в) функции, использующие дополнительно веса

терминов, не встречающихся ни в запросе, ни в до

кументе.

Ниже приводится выборочный перечень таких

функций (указывается ее название и номер класса),

— релевантность документа

запросу.

1. Булева корреляций (a): R

186

4. Корреляция относительно нуля (б):

5. Корреляция по пересечению (б):

6. Корреляция Беннета и Шпигеля (б):

2. Произведение векторов (а): R

3. Бинарная корреляция Танимото (б):

3. Библиометрические законы. Библиометрический

подход к исследованию библиотечных процессов под-

разумевает количественную трактовку свойств и

поведения документальной информации. Законы, уп-

равляющие распределением информации, имеют спе-

циальный смысл; они выводятся из эмпирических

наблюдений или путем обобщения статистических

данных. В отличие от неизменных законов природы

они могут стать неверными, например, в случае ко-

ренного изменения существующих условий распре-

деления информации, что, в свою очередь, связано

с переворотом в существующем социальном устрой-

стве.

В качестве примера рассмотрим гипотезу о том,

что количество книговыдач и показатели обращаемости

книг в библиотеке в течение некоторого периода под-

чиняются распределению Пуассона. В § 10 было от-

мечено, что пуассоновское распределение характери-

зует редкие события, наступающие независимо друг

от друга и через одинаковые в среднем интервалы

времени. Хорошо известно, что большинство библио-

течных книг поступает в обращение редко, а показа-

тели обращаемости большинства документов не зави-

сят друг от друга. Поэтому можно предположить, что

для статистики, связанной с обращением библиотечных

фондов, вполне пригодно распределение Пуассона.

В вопросах распространения информации особый

интерес представляют гиперболические функции, ха-

рактеризуемые тем, что произведение фиксированных

степеней переменных остается постоянным. В про-

стейшей формулировке эти законы применимы в тех

случаях, когда геометрический рост входных показа-

телей приводит к арифметическому росту выходных

показателей, причем исследуемые объекты (буквы, слова

языка, журналы по данному предмету и т. д.) выби-

раются из конечного набора элементов, у которых

весьма слаба корреляция совместных появлений.

В области распространения информации можно

обнаружить гиперболические закономерности, связы-

187

7. Модифицированная булева корреляция (в):

вающие количество авторов, публикующих работы по

данной предметной области, с количеством журналов

по этой же области. То же касается количества опуб-

ликованных работ и численности их авторов. Интерес-

ные зависимости можно обнаружить и для распреде-

ления слов по частоте их появления в текстах на

естественном языке, распределения ученых по количеству

опубликованных работ и т. д. Некоторые из этих

явлений будут подробно описаны ниже.

Наиболее известный гиперболический закон Ципфа

относится к статистической обработке текстов. Если

расположить слова определенного текста в порядке

убывания частоты их появления (начиная с наиболее

часто встречающихся), то произведение частоты f (i)

на порядковый номер, ранг r (i) постоянно для любого

данного слова i: f (i)• r(i) = c, c —некоторая постоян-

ная. Для различных классов данных более точное

совпадение с экспериментом дает несколько измененное

уравнение f (i) = с (r (i) — а)

-s

, где а и s — малые

постоянные. Константа а улучшает совпадение для

общеупотребительных слов, имеющих низкий ранг?

а показатель s — для слов, имеющих высокий ранг.

Ципф объяснял свей закон как следствие общего

„принципа наименьшего усилия": наиболее часто

встречающиеся слова любого языка обычно являются

короткими служебными словами, употребление кото-

рых требует наименьших усилий (чем и объясняется

их большая частота). Распределение Ципфа можно

применять в различных областях, не обязательно при-

нимая или отвергая принцип наименьшего усилия.

Графически закон Ципфа изображается кривой, при-

веденной на рис. 64.

Закон Брэдфорда описывает отношение между

количеством журналов и количест-

вом опубликованных в них статей

на ту или иную тему.

Пусть I названий журналов на

данную тему разбиты на k групп,

каждая из которых содержит до

, I

, ... ,I

названий, так что все

группы содержат одинаковое ко-

личество статей на данную тему.

Тогда

Рис. 64.Закон Ципфа

188

= b

i-1

= b

i-1

, i = 1, 2, ... , k, k = 1, 2, ... , m, (1)

где I

— количество журналов в ядре, a b

> 1 — так:

называемый множитель Брэдфорда для разбиения I

названий на k групп. Множитель b

уменьшается при

увеличении k. В простейшем виде этот закон форму-

лируется (как это делал сам Брэдфорд) следующим

образом: если научные журналы расположить в по-

рядке убывания содержащихся в них статей по какому-

либо предмету, то в полученном списке можно-

выделить ядро из журналов, непосредственно посвя-

щенных этому предмету, и несколько групп зон,

содержащих такое же количество публикаций, как:

в ядре, причем журналы в ядре и последовательна

расположенных зонах составляют отношение 1: n: n

: ...

Из уравнения (1) следует, что для любой совокуп-

ности статей существует такое максимально возмож-

ное количество зон т, что все эти зоны I

, ... , I

содержат одинаковое количество публикаций. При

этом значения I

и b

минимальны, а I

представляет

собой наименьшее возможное ядро, состоящее из

наиболее продуктивных журналов. Пусть А — общее

количество статей. Тогда в каждой зоне будет содер-

жаться по A/m статей. Если это число статей опуб-

ликовано в одном наиболее продуктивном журнале,

то ядро состоит из этого единственного журнала.

Пусть Z — количество журналов, содержащих един-

ственную публикацию. Тогда минимальное ядро

может состоять из единственного журнала лишь при

выполнении условия А/m > Z/2, т. к. в противном

случае в конце упорядоченного списка журналов,

вопреки закону Брэдфорда, нашлись бы две после-

дующие зоны, содержащие одинаковое количество

публикаций.

Пусть R (п) — общее количество профильных ста-

тей, содержащихся в первых n журналах, причем все

журналы расположены в порядке уменьшения их про-

дуктивности в данной предметной области. По закону

Брэдфорда,

(n) =

R(n

+ n

) - R(n) =

R(n

+ п

+ п)

- R(n

+ n) = ...

Следовательно,

189

2R(n)=R(n

+ n), 3R(n) = R(n

+ n

+ n),...,

mR(n)=R

(2)

сравнение (2) мало отличается от закона Ципфа при

больших т и относительно малых n(l<n≤5), что

соответствует практике. Закон Ципфа выполняется

точно» если mR (п) = R (п

). В этом случае R (п) = log n,

т.е. имеем линейную зависимость R(n) от log n.

В случае (2) такая зависимость лишь близка к линей-

ной.

Пусть r (п) — число релевантных статей в n-ом

журнале, a R(n) — klogn. Тогда r (n) = R (n) —

— R (n — 1) = klogn - klog(n — 1) = — klog(l — 1/n) =

= k

Когда n велико, можно от-

бросить в последней формуле все слагаемые, кроме

первого. В частности, когда n = N, где N— общее

число журналов данного профаля, имеем r(N) =

Так как число статей в последнем по рангу журнале

обычно равно 1, то k≈N и, следовательно, поиск

мо всем N журналам дает около NlogN релевантных

статей. Часть этих статей, содержащаяся в п наибо-

лее продуктивных журналах, равна

До-

пустим, что нужно просмотреть некоторую долю р

статей на нужную тему. Из выведенных формул сле-

дует, что для этого нужно просмотреть п=N журналов,

поскольку logn/logN = p.

Для больших фэндов документов закон Брэдфор-

да, как правило, точно не выполняется. Согласно

закону, при росте N доля публикаций, вносимая наи-

более продуктивными журналами, должна пропорцио-

нально возрастать. Однако вклад каждого журнала

заведомо ограничен. Поэтому общий закон концен-

трации статей в нескольких наиболее важных журна-

лах должен быть дополнен более слабым законом

рассеяния статей в узком кругу наиболее часто вы-

бираемых журналов. Таким образом, линейная зави-

симость R(n) от log n модифицируется эффектом

яасыщения в нижнем конце графика, когда кривая

R(n) первоначально относительно медленно поднимается

и лишь затем достигается линейность. Указан-

190