Кришнамурти Б., Рексфорд Дж. Web-протоколы. Теория и практика

Подождите немного. Документ загружается.

360

Часть

IV. Измерение и описание Web-трафика

серверов. В протоколе НТТР/1.1 определены методы GET, HEAD, POST, PUT,

DELETE, OPTIONS, TRACE и CONNECT, как об этом говорилось ранее в главе 7

(раздел 7.2.1). Для подавляющего большинства HTTP-запросов используется не-

большое число методов.

Характеристики трафика. Проведение большого числа экспериментальных ис-

следований показало, что подавляющее большинство Web-запросов используют

метод GET для загрузки ресурсов и запуска сценариев [AJOO, PQOO]. Небольшая

доля HTTP-запросов использует метод POST, обычно для передачи данных форм.

Другие методы запросов используются редко, так как они не инициируются типич-

ными действиями пользователя при работе с браузером. Измерения выявили не-

большое число запросов, используюидих метод HEAD, которые могут быть сгене-

рированы вручную как часть операций по тестированию Web-сервера. Несмотря на

доминирование запросов GET, точное распределение методов запросов меняется от

сайта к сайту. Сайт с необычной смесью методов запросов может иметь производи-

тельность, отличную от других сайтов. Например, рассмотрим Web-сайт, который

позволяет пользователям посылать и принимать сообщения электрогнюй почты.

Для отсылки сообщения электронной 1ючты пользователь вводит текст в окне

браузера и нажимает кнопку Submit. Такой Web-сайт может получать относитель-

но большое число запросов POST, и эти сообщения могут включать большой объ-

ем данных. Выполняя тестирование сайта в предположении, что большинство за-

просов для получения данных с сайта используют метод GET, не даст ренрезеггга-

Т1НЗН0Г0 описания нагрузки этого сайта. Знание того, что сайт может использовать

необычные методы запросов, поможет выделить такую ситуацию, в то время как

серверные тесты, использующие обычную смесь методов запросов, не обеспечива-

ют определе1Н1е того, как реально будет работать такой сайт.

Влияние распространения новых технологий. Распределение методов запросов

может изменяться во времени, следуя за эволюцией Web-приложепий. Многие

Web-сайты позволяют пользователям отправлять формы разнообразного назначе-

ния, включая передачу запросов поисковым машинам или передачу сообщений

электронной почты. Когда сайт, позволяющий пользователям отправлять данные,

становится популярным, то количество запросов POST увеличивается. В процессе

работы ряд приложений позволяет клиентам создавать новые ресурсы. Например,

приложения, использующие Web Distributed Authoring and Versioning (WebDAV),

позволяют группе пользователей объединяться для написания и редактирования

документов, как это будет обсуждено ниже в главе 15 (раздел 15.5.2). Если это при-

ложение становится популярным, то число запросов PUT и DELETE будет увели-

чиваться. Приложегшя WebDAV также предоставляют новые методы, которые ис-

пользуются все чаще по мере того, как растет их популярность. Кроме того, суще-

ствующее приложения могут начать использовать методы запросов по-другому.

Например, браузер или прокси-сервер перед выполнением запроса па ресурс могут

использовать метод HEAD для проверки актуальности этого ресурса в кэше. Такое

приложение будет подробно рассмотрено в главе 13 (раздел 13.1.2). Кроме того, по-

явление инструментальных средств тестирования и отладки Web-компопептов мо-

жет увеличить частоту использовагн^я метода TRACE.

10.3.2.

Коды HTTP-ответов

Знание того, как сервер отвечает на клиентские запросы, является важной ча-

стью построения реалистичной модели Web-нагрузки. В протоколе HTTP опреде-

лено большое число кодов ответов, разделенных па пять классов, как это обсужда-

лось в главе 7 (раздел 7.2.3).

Глава 10. Описание параметров рабочей нагрузки 361

Характеристики трафика. Ответом на успешный запрос в большинстве случаев

(от 75% до 90%) является 200 ОК [AJOO, PQOOJ. Следующим, наиболее часто воз-

вращаемым кодом (от 10% до 30%), является 304 Not Modified. Наиболее частыми

кодами ответов из оставшихся являются Зхх (нереадресация) и 4хх (ошибки кли-

ента).

Например, код 404 Not Found возвращается, когда сервер не может сгенери-

ровать запрашиваемый ресурс. Некоторые сайты используют нереадресацию для

выравнивания нагрузки нескольких серверов. Например, частота кода ответа 302

Found Redirection меняется от сайта к сайту. Подобная статистика указывает на

то,

что тесты не должны рассчитывать, что в ответ на все уснеин1ые запросы будет

получен код 200 ОК.

Необходимо учитывать разнообразные факторы, которые обусловли1зают дан-

ный код ответа. Ответ 304 Not Modified возврапдается, когда югиент проверяет ак-

туальность копии ресурса в кэше. Web-сайт, где доминируют динамические ресур-

сы,

не будет получать много запросов для проверки актуальности элементов кэша

и следовательно не будет посылать много ответов с кодом 304 Not Modified. С дру-

гой стороны, частота появления кода ответа 304 Not Modified зависит как от часто-

ты изменений ресурсов, так и от вероятности запроса на кэшированные ресурсы.

Web-сайт со статическим содержанием, таким как HTML файлы и встроенные

изображения, будет возвращать относительно большое число огветов с кодом 304

Not Modified. Это характерно для сайтов, не используюин1х заголовки управления

кэшированием ответов (т.е. Expires) для указания того, как долго клиенту можно

благополучно возвращать кэшированный ответ. Без этой информации клиент дол-

жен регулярно проверять актуальность кэшированных ответов сервера. В результа-

те число ответов с кодом 304 Not Modified увеличивается, особенно если ресурс за-

прашивается большим числом пользователей.

Большое число ответов с кодами класса 4хх (оп1ибки клиента) может указывать

па проблемы с организацией Web-сайта или с другими Web-страницами, на кото-

рых имеются гипертекстовые ссылки на данный сайт. Рассмотрим, например, что

произойдет, когда администратор реорганизует Web-сайт. Некоторые URL, кото-

рые присутствуют на Web-страницах или в закладках пользователей, могут теперь

указывать на отсутствующие ресурсы. Большое число ответов 404 Not Found ука-

зывает на то, что многие запросы используют старые URL. Ос1Ювываясь на этой

информации, администратор сайта может настроить сервер так, чтобы последний

трактовал старые гиперссылки как синонимы новых или переадресовывал на но-

вый URL. В некоторых случаях администратор может идентифицировать Web-

страницы с устаревшими гиперссылками. Сообщение с кодом 404 Not Found мо-

жет также говорить о том, что в HTML-файле имеется гипертекстовая ссылка

с опечаткой, например, пропущенный символ в URL или ошибочное написание

(например, http://www.bar.com/necesary.fig вместо http://www.bar.com/neces-

sary.fig)

Влияние распространения новых технологий. Некоторые коды ответов не по-

являются, пока клиент не использует определенные заголовки запросов. Следова-

тельно, частота появления

КОДОЁ

ответов может зависеть от построения Web-кли-

ептов. Например, рассмотрим код ответа 206 Partial Content, используемый в слу-

чае,

когда сервер возвращает диапазон байтов запрашиваемого ресурса, как этот

было описано ранее в главе 7 (раздел 7.4.1). Запросы на диапазоны будут стано-

виться все более распространенными по мере того, как реализации прокси-серве-

ров станут поддерживать НТТР/1.1. Кроме того, браузеры могут использовать до-

полнительные модули, генерирующие запросы на диапазоны. Например, модуль,

отображающий PDF-файл, может выдавать запросы на диапазоны для доступа

362

Часть

IV. Измерение и описание Web-трафика

к отдельным страницам документа. Новые технологии, повышающие производи-

тельность браузеров и прокси-серверов, могут также увеличить число запросов на

диапазоны. Например, клиент может кэшировать часть ресурса большого объема и

выдавать запрос на диапазон для получения оставшейся части [STR99]. Клиент,

выдающий запрос на диапазон в паре с сервером, возвращающим диапазон байтов,

увеличивают частоту появления кода ответа 206 Partial Content.

Частота кода ответа 302 Found Redirection варьируется от сайта к сайту. Неко-

торые Web-сайты используют переадресацию как способ выравнивания нагрузки

для группы дублирующих друг друга серверов. В этом случае в начале обработки

запроса определяется сервер, которому необходимо перенаправить клиентский за-

прос,

основываясь на загрузке серверов или близости к клиенту. Ответ переадреса-

ции дает указание клиенту повторить запрос к альтернативному серверу. Растущие

масштабы Web-приложений позволяют предположить, что дублирование серверов

станет повсеместным, особенно для популярных Web-сайтов. Однако переадреса-

ция на уровне HTTP — это только один из путей координации обработки клиеггг-

ских запросов. Если другие подходы станут более популярными, то частота запро-

сов переадресации может со временем не увеличиться, а уменьшиться. Различные

подходы к нереадресации клиентских запросов на дублирующие серверы будут де-

тально обсуждаться в главе 11 (раздел 11.12). Код ответа 302 Found Redirection

может также возвращаться Web-сайтом, который при попытке доступа к несущест-

вующему ресурсу возвращает страницу, используемую по умолчанию, вместо кода

ответа 404 Not Found.

10.4.

Характеристики Web-ресурсов

Для моделирования рабочей нагрузки Web необходима детальная информация

о характеристиках Web-ресурсов. Ресурсы характеризуются размером, популярно-

стью,

частотой изменений. Кроме того, HTML-страницы характеризуются числом

встроенных изображений. Подытоживая характеристики Web-ресурсов, мы обсу-

дим типы и размеры содержания, размеры ответов, популярность, частоту модифи-

каций и число встроенных ресурсов.

10.4.1.

Типы содержания

Web-сайты обеспечивают доступ к разнообразным ресурсам с различными ти-

пами содержания. Статистические данные о типах содержания дают информацию о

видах данных, имеющихся на Web-сайте. Тип содержания имеет также непосредст-

венную связь с другими ключевыми параметрами рабочей нагрузки, такими как

размер ресурса и частота модификации. Кроме того, некоторые типы содержания,

такие как текст, поддаются сжатию для уменьшения размера ответного сообщения,

в то время как другие типы содержания, например, изображения, уже находятся

в сжатом виде.

Характеристики трафика. На большинстве Web-сайтов преобладают текстовые

ресурсы (типы text/plain и text^tml) и изображения (типы image/jpeg и image/gif)

[AW97,

DFKM97, AJOO]. Оставшиеся типы содержания представляют сравнительно

малую долю ресурсов. Эти типы содержания представляют собой документы Post-

script и PDF, сценарии JavaScript, апплеты Java, аудио и видео. Однако соотношение

типов содержания может существенно меняться от сайта к сайту. Например, один

Web-сайт, содержащий архивные документы, может иметь большое число Postscript-

Глава 10. Описание параметров рабочей нагрузки 363

и PDF-документов, другой Web-сайт может интенсивно использовать апплеты Java.

Кроме того, гюнулярпость некоторых типов содержания может варьироваться в раз-

личных пользовательских группах. Пользователи с низкой скоростью подключения

к Internet предпочитают реже зафужать 1^13ображения или большие документы, в то

время как технические специалисты, работающие на платформе UNIX, мохут отдавать

предпочтение большим файлам в формате Postscript. В некоторых случаях смесь типов

содержания, наблюдаемая клиентом, может зависеть от настроек прокси-сервера. На-

пример, прокси сервер может отфильтровать некоторые типы содержания для исюпоче-

пия зафузки апплетов, запуск которых может привести к нарушехшю безопасности.

Влияние распространения новых технологий. Появление новых приложений

может оказать неожиданное и глубокое влияние на распределение типов содержа-

ния. Например, растуидий интерес к мультимедиа в Web привел к увеличению чис-

ла сайтов с аудио и видео [AS98J.

10.4.2.

Размеры ресурсов

Размеры Web-pecypcoB влияют на требования к объему памяти на Web-серверах и

приводят к перефузке кэшируюпдих прокси-серверов и браузеров. Кроме того, разме-

ры ресурсов влияют на зафузку сети и задержки при доставке ответных сообш.е11ий.

Характеристики трафика. Хотя точное распределение размеров ресурсов меня-

ется в зависимости от сервера и от времени, но анализ Web-измерений позволяет

выявить некоторые обилие характеристики. В общем случае средний размер ресур-

са относительно мал, хотя небольшая доля ресурсов имеет достаточно большой

размер. Текстовые документы, HTML-документы и файлы с изображениями со-

ставляют основную часть ресурсов большинства Web-сайтов. Такие ресурсы обыч-

но имеют размер меньший, чем ресурсы других типов, особенно аудио и видео.

Средний размер HTML-файлов составляет 4-8 Кбайтов, а средний размер изобра-

жения около 14 Кбайтов, хотя точное значение изменяется от сайта к сайту [Pit99,

AJOO].

Хотя большинство таких файлов имеют малый размер, некоторые из них

бывают очень большими. HTML-файлы имеют значение медианы около 2 Кбайтов,

что существенно меньше, чем средний размер (4-8 Кбайта). Это говорит о боль-

шом разбросе размеров HTML-файлов. Размеры изображений также существенно

меняются в зависимости от источника изображения и его назначения. Логотипы,

навигационные изображения, рекламные объявления обычно имеют небольшие

размеры, в то время как фотографии бывают сравнительно большого размера.

Большой разброс размеров ресурсов также характерен и для других типов содер-

жания. Кроме того, Web-сайт содержит смесь различных типов содержания, что

приводит к еще большему разбросу размеров ресурсов. Например, сайт, содержа-

щий смесь текста, изображений и данных мультимедиа, может иметь размеры ре-

сурсов в диапазоне от нескольких сот байтов до нескольких гигабайтов.

Хотя значение медианы и описывает типичный ресурс, но распределение веро-

ятности дает лучшее описание размеров ресурсов. Знание распределения размеров

ресурсов полезно для принятия решения о выделении дискового пространства на

сервере или на прокси-сервере. Кроме того, тесты, оценивающие производитель-

иость Web-серверов и прокси-серверов, должны учитывать присущий ресурсу диа-

пазон изменений размеров. Высокая изменчивость размеров ресурсов обычно опи-

сывается распределением Парето:

F(x) = (k/xf,x>k

где значение параметра а определяет форму распределения, а значение параметра

k — масштаб. Распределение имеет среднее значение равное ka/(a-1) для а>1. На

364

Часть IV. Измерение и описание Web-трафика

рис.

10.2 приведен график распределения Парето для двух значений параметра а

(1.1 и 1.5) со средним значением, равным единице. При значении а = 1.5 около 80%

ресурсов имеют размер меньший единицы. Оставшееся 20% ресурсов имеют доста-

точно большой размер, в результате среднее значение размера равно 1. При значе-

нии а = 1.1 разница еще более существенна: менее 10% ресурсов имеют размер,

больший единицы.

Q Экспоненциальное распределение

Л Распределение Парето (а=1.5)

-|- Распределение Парето {а=1.1)

Рис. 10.2. Экспо11С1шиалыюе распределение и распределение Парето (со средним

значением, равным 1)

Для сравнения на рис. 10.2 приведен также график для экспоненциального рас-

пределения

F(x)=e~^'^

со средним значением равным единице (X = 1). Экспоненци-

альное раснределение широко используется в математическом анализе и имеет су-

щественно меньшую изменчивость значений, чем распределение Парето. При экс-

ноненциальном распределении только 60% ресурсов имеют значения меньше

единицы. Хотя оставшиеся значения и больше единицы, но лишь малое число ре-

сурсов принимают значения большие 4 или 5. Это легко видеть на рис. 10.3, где

изображены те же самые распределения, по в логарифмическом масштабе по обеим

(3 Экспоненциальное распределение

Д Распределение Парето (а= 1.5)

-{-

Распределение Парето

(а=

1.1

ОСЯМ. Кривая эксноненциального распределения спадает ниже значения 10

10^-

10°-

10-^-

10-2-

" 10-^-

10-^-

10'^-

10-^-

10-"^-

10-«-

для

Рис.

10.3. Экспо11е1щиа.^ьиос распределехшс и распределение Парето

в логарифмическом масштабе

Глава 10. Описание параметров рабочей нагрузки

365

х>40.

Это означает, что только один из десяти миллиардов ресурсов может иметь

значение больше 40. Значения обоих распределений Парето в противоположность

экспоненциальному распределению уменьшаются только до

10"^^,

демонстрируя,

что один из тысячи ресурсов принимает значение болыиее 40. Очень большие зна-

чения размеров ресурсов имеют место гораздо чаще для распределения Парето, чем

для экспоненциального распределения, при одинаковом среднем значении.

Распределение Парето при значениях а от О до 2 является распределением

с медленно убывающим «хвостом». «Хвост» показывает насколько медленно рас-

пределение F(x) уменьшается при больших значениях х. Распределение Парето

в двойном логарифмическом масштабе ЛРНШЙНО (рис. 10.3). Наклон графика в та-

ком масштабе определяется значением коэффициента а. Меньшие значения а оп-

ределяют меньший наклон, что соответствует большей изменчивости размеров ре-

сурсов. Например, на рис. 10.3 график распределения при

бг

= 1.1 лежит выше гра-

фика при а = 1.5 для больших значений х. Большое число измерений показало, что

хвост распределения Парето достаточно хорошо описывает изменчивость размеров

у Web-pecypcoB. Хотя значения а и отличаются от одной серии измерений к дру-

гой,

но большинство исследований показало, что значение а находится в диапазоне

от 1.0 до 1.5 [AW97, СВ97, ВВВС99]. Распределение имеет очень большое среднее

значение при значении а близком к единице, что делает его практически неприме-

нимым для описании размеров ресурсов.

Несмотря па хорошую точность описания больших ресурсов, распределение Па-

рето не слишком хорошо описывает оставшиеся ресурсы. Гибридная модель, объе-

диняющая несколько распределений, обеспечивает лучшее соответствие результа-

там измерений. Данные гораздо лучше описываются логарифмически нормальным

распределением [BC98J. Нормальное распределение имеет колоколообразиый вид

с центром, соответствующим среднему значению; половина значений распределе-

ния будут меньше среднего, а вторая половина

—

больше среднего значения. У ло-

гарифмически нормального распределения нормальное распределенне имеет лога-

рифм X. Использование логарифма увеличивает долю значений, которые меньше

среднего, как показано на рис. 10.4. Для сравнения на рисунке также приведен гра-

фик экспоненциального распределения с тем же средним. Логарифмически нор-

мальное распределение достаточно точно описывает характеристики Web-ресурсов

за исключение очень больших значений на хвосте распределения. Распределение

Q Экспоненциальное распределение

Д Логарифмически нормальное

распределение

•* 6 Й 6 Й Й

Рис. 10.4. Логарифмически нормальное распределение

366 Часть IV. Измерение и описание Web-трафика

Парето вместе с логарифмически нормальным распределением образуют модель,

описывающую значения размеров Web-ресурсов во всем диапазоне значений.

Влияние распространения новых технологий. Размеры Web-ресурсов могут

меняться со временем. Пользователи с высокоскоростным подключением к In-

ternet гораздо чаше запрашивают ресурсы большого размера [AFJ99J. Это, в свою

очередь, может позволить разработчикам создавать Web-страницы большего раз-

мера. Однако тенденция увеличение размера Web-CTpain^n необязательно влечет

увеличение изменчивости размеров ресурсов. Изменение набора используемых ти-

пов содержания может оказать существенное воздействие на размеры Web-ресур-

сов.

Например, аудио- и видеоресурсы обычно имеют весьма значительные разме-

ры.

Увеличение доли мультимедийного содержания Web может изменить распре-

деление размеров ресурсов. Однако несмотря на изменения видов ресурсов,

имеющихся в Web, чрезвычайно высокая изменчивость размеров ресурсов остается

всегда. Распределения с медленно убывающими хвостами наблюдаются не только

для размеров Web-ресурсов, но и, например, для размеров файлов на компьютерах

под управлением операционной системы Unix или для времени выполнения про-

грамм на компьютерах [HB97J.

10.4.3.

Размеры ответов

Распределение размеров ресурсов отражает изменчивость размеров файлов,

хранящихся на Web-серверах. Однако нагрузка на сервер и сеть зависит от того,

какие из этих ресурсов в действительности передаются по запросам клиентов. При

анализе производительности сервера и сети размер ответных сообщений является

более важным фактором. Число байтов в ответном сообщении определяет часть

пропускной способности, необходимую для обработки клиентского запроса. Кроме

того,

размер ответа определяет пропускную способность используемого ТСР-со-

единения. Небольшой размер скользящего окна на фазе медлегнюго старта TCP ог-

раничивает скорость передачи для многих ответных сообщений. Размер ответа так-

же определяет относительный вклад различных источников задержки при обработ-

ке клиентского запроса. Затраты на преобразование домегнюго имени в IP-адрес

сервера и установление ТСР-соединения составляют основную часть задержки при

передаче коротких сообщений. В противовес этому при передаче ДЛРНН1ЫХ сообще-

ний более важна загруженность сервера и сетевого соединения.

Влияние распространения новых технологий. Размеры ответов могут отли-

чаться от размеров ресурсов по ряду причин. Во-первых, некоторые ответные сооб-

щения не пересылают ресурсы. Например, ответы 204 No Content и 304 Not

Modified не содержат тела сообщения. Эти сообщения содержат не более несколь-

ких сот байтов в заголовках. Как было отмечено ранее в разделе 10.3.2, ответ 304

Not Modified составляет существенную часть ответных сообщений. Во-вторых, не-

которые Web-ресурсы никогда не запрашиваются и, следовательно, не влияют на

распределение размеров ответных сообщений. Проведенные исследования выяви-

ли,

что в среднем ресурсы большего размера являются менее популярными, чем ре-

сурсы меньшего размера. Например, при просмотре Web-страниц пользователь не

будет часто скачивать Postscript- и PDF-файлы. В третьих, некоторые ответы мо-

гут быть прерваны до того, как завершится их передача, что укорачивает размер от-

вета. Пользователи чаще прерывают длинные ответы, чем короткие. Эти факторы

приводят к тому, что обычно размер ответа типичного сообщения меньше, чем раз-

мер типичного ресурса.

Глава 10. Описание параметров рабочей нагрузки 367

Исследования показали, что медиана распределения размеров ответов на несколь-

ко сот байтов меньше, чем медиана распределения размеров ресурсов [ВВВС99,

AFJ99J. Однако размер ресурса является первичным фактором, воздействующим на

размер ответных сообщений. Оба распределения вероятности очень похожи. Подоб-

но размерам ресурсов, размеры ответов могут быть представлены комбинацией лога-

рифмически нормального распределения и распределения Парето [ВС98, BBBC99J.

Кроме того, подобно распределению размеров ресурсов распределение размеров от-

ветов также имеет медленно убывающий хвост. Переменная а в распределении Па-

рето определяет убывание хвоста. Оба распределения вероятностей имеют значение

а в диапазоне от 1.0 до 1.5, указывая на наличие очень медленно убывающих хвостов

[Mah97, СВ97, AFJ99J. Это говорит о том, что размеры ответа, aнaJЮгичнo размерам

ресурса, покрывают весьма широкий диапазон значений.

Некоторые клиентские запросы обрабатываются кэширующими прокси-сервера-

ми без привлечения исходного сервера. Любая зависимость между размером ресурса

и вероятностью его кэширования прокси-сервером может изменить распределение

размеров ответов исходного сервера. Более вероятно, что будут кэшироваться наибо-

лее популярные ресурсы/Более высокая популярность небольших ресурсов позво-

ляет предположить, что именно они и будут кэшироваться прокси-сервером. Кроме

того,

прокси-серверы с ограниченным объемом дисковой памяти могут не кэширо-

вать ресурсы большого размера, еще более увеличивая вероятность того, что ресурс

большого размера будет передаваться исходным сервером. Однако при проведении

исследований часто предполагается, что ресурсы малого размера запрашиваются не

намного чаще, чем ресурсы большого размера, а прокси-серверы имеют достаточно

дисковой памяти для кэшированрш сообщений больших размеров. В результате не

выявляется значительной разницы между размерами ответов, переданных кэширую-

щими серверами, и размерами ответов, переданных исходными серверами.

Влияние распространения новых технологий. Точное соотношение между раз-

мерами ресурсов и их популярностью может зависеть от ситуации. Клиент с низко-

скоростным нодключением к Internet будет намного реже запрашивать ресурсы

большого размера, а прокси-сервер, обслуживающий такого клиента, может принять

решение не кэшировать ответы большого размера. С другой стороны, все больше и

больше клиентов получают высокоскоростгюй доступ через кабельные модемы

и DSL. Такие пользователи будут более склогнш! запрашивать большие ресурсы. Это

может ослабить существующую корреляцию между размером ресурса и его популяр-

ностью. Перечисленные конкурирующие факторы говорят о том, что неразумно

предполагать, что распределение размеров ресурсов такое же самое, как и распреде-

ление размеров ответов. Реальная модель рабочей нагрузки должна учитывать обе

характеристики и отслеживать, как соотношение между ними меняется во времени.

10.4.4.

Популярность ресурсов

Популярность различных ресурсов оказывает важное влияние на производи-

тельность. Кэширование в браузере и на прокси-сервере наиболее эффективно,

если большинство запросов делается на небольшое число ресурсов. Клиент может

заранее загрузить ряд ресурсов, участвующих в дальнейших запросах. Популяр-

ность также воздействует на нагрузку сервера из-за необходимости ответов на

большее число запросов. Наиболее популярные ресурсы скорее всего будут нахо-

диться в оперативной памяти сервера, что исключает необходимость их чтения

с жесткого диска. Сервер может сохранять наиболее популярные ответы, сгенери-

рованные динамически. Например, поисковый сервер может многократно получать

368

Часть

IV. Измерение и описание Web-трафика

одинаковые запросы. Результаты поиска по этим наиболее популярным запросам

могут быть сохранены на сервере. На практике сервер может не иметь достаточно

памяти для хранения большого числа ответов. Компромисс между объемом памя-

ти и повышением производительности зависит от распределения популярности

ресурсов.

Характеристики трафика. Популярность ресурса определяется как отношение

числа запросов на этот ресурс к общему числу запросов. Функция Р(г) описывает

долю запросов, относящихся к каждому из ресурсов. Рассмотрим в качестве приме-

ра Web-сайт со 100 ресурсами. Если все 100 ресурсов имеют одинаковую популяр-

ность, то Р(г) = 0.01 для г = 1, 2, ..., 100. Кривая, изображенная на рис. 10.5, указы-

вает на то, что некоторые ресурсы значительно более популярны, чем другие.

В этом примере на долю наиболее популярного ресурса приходится 20% запросов

из набора из 100 ресурсов. Доля второго по полярности ресурса составляет око-

ло 10%. Сайт получает очень мало запросов на малопопулярные ресурсы. График,

приведенный на рис. 10.5, представляет типичное распределение популярности

Web-pecypcoB сайта.

0.20

0.15

0.10 1

0.05

Рис.

10.5. Закон Зипфа

Доля запросов на ресурс обратно пропорциональна его рангу. Распределение со-

ответствует закону Зипфа [Zip49]:

где k — коэффициент пропорциональности, нормирующий сумму Р(г) к единице.

Закон Зипфа используется для онисагн^я, например, частоты появления различных

слов в документе; слова "the" или "and" встречаются в документе на английском

языке гораздо чаще, чем "jejune". В более общем случае распределение Зипфа име-

ет вид:

P(r)==kr~'

где с ~ некоторая константа. Меньшее значение с соответствуют меньшему разбро-

су популярности в наборе ресурсов. Предельный случай, когда с=0, соответствует

случаю равной популярности всех ресурсов.

Значение с варьируется для разных прокси- и Web-серверов [СВС95, ABCd096,

BCF'99, PQOOJ. В ранних исследованиях запросов к Web-серверам были получены

значения с близкие к единице. Последние исследования оценивают эту величину

Глава 10. Описание параметров рабочей нагрузки 369

в диапазоне от 0.75 до 0.90. Кэширование в браузерах и прокси-серверах приводит

к уменьшению числа запросов, достигающих Web-сервера цля наиболее популяр-

пых ресурсов. В результате доля запросов к некэшируемым ресурсам существенно

возрастает. Для Web-сервера запросы, перехвачен 1ые прокси-сервером, приводят

к меньшим значениям константы с. Прокси-серверы обрабатывают запросы для

различных Web-сайтов, что обычно связано с большим числом ресурсов со сравни-

мой популярностью. В дополнение к этому, эффективность кэширования браузе-

ром направлена на уменьшение числа повторяющихся запросов клие1гга к одному

и тому же ресурсу. Тем не менее ресурсы, получаемые от прокси- и Web-серверов

имеют широкий разброс но гюпулярности.

Аналогичные результаты получены и для Web-сайтов

—

небольшое число попу-

лярных Web-сайтов получают наибольшее число запросов. Разброс в популярно-

сти оказывает важное влияние на производительность. Во-первых, локальный

DNS-сервер скорее всего имеет кэшированную копию соответствий доменных

имен и IP-адресов для большинства популярных сайтов. Это позволяет устранить

задержки, связанные с повторными обращениями к другим DNS-серверам за ис-

ключением случаев, когда кэшированная DNS-запись устаревает. Во-вторых, на

практике самые загруженные Web-сайты реплицируются на нескольких Web-сер-

верах для того, чтобы 11риблиз1ггь содержимое к клиентам. Поскольку эти сайты

определяют значительную часть трафика, то эффективная схема репликации этого

небольшого числа сайтов может привести к существенному снижению сетевой на-

грузки и уменьшению времени ожидания ответов пользователями. В-третьих, но-

вые технологии повышения производительности не нужно развертывать на боль-

шом числе сайтов, чтобы иметь значительный выигрыш. Достаточно избирательно-

го развертывапрш на небольшом числе наиболее популярных сайтов.

Влияние распространения новых технологий. Распределение Зипфа получило

широкое распространение при описании рез^'^льтатов измерений в Web, с помощью

него описывается поведение ряда других сложных систем вне Web. Однако значе-

ния параметров распределения Зипфа меняются со временем и от сайта к сайту.

Изменения в распределении популярности ресурсов на Web-сайте или в исследуе-

мом наборе сайтов оказывают влияние па эффективность кэширования. Менее

асимметричные распределения с меньшей долей запросов на наиболее популярные

ресурсы делают кэширование менее эффективным. Разнородность пользователь-

ских сообществ приводит к тому, что большая часть ресурсов, имеющихся в Web,

станет от1Юсительпо популярной. Например, чем больше людей в мире подключат-

ся к Web, тем больше новых сайтов будут обеспечивать эти пользовательские сооб-

щества. Эти Web-сайты могут оказаться чрезвычайно популярными в некоторых

странах и регионах. Однако другие социальные факторы с течением времени могут

привести к еще большей неоднородности в популярности, когда пользователи бу-

дут иметь легкий доступ к Web но всему миру. В любом случае эти изменения по-

пулярности должны воздействовать на кэширование ресурсов для снижения на-

грузки на серверы и сети.

10,4.5.

Изменения ресурсов

Web-ресурсы изменяются со временем в результате модификации их содержа-

ния. Частота изменений и разница между последовательными версиями ресурсов

оказывают существенное влияние на множество Web-приложений. Например, по-

исковые серверы зависят от спайдеров, индексирующих Web-страпицы. Если

Web-страпицы изменятся па исходном сервере, то поисковый сервер вернет пекор-