Кришнамурти Б., Рексфорд Дж. Web-протоколы. Теория и практика

Подождите немного. Документ загружается.

370

Часть

IV. Измерение и описание Web-трафика

ректпый результат в ответ па запрос пользователя. Зная частоту изменений ресур-

сов на сайте и значимость этих изменений можно определить частоту индексирова-

ния Web-страпиц слайдером. Точно так же изменение содержимого ресурсов влия-

ет па производительность Web-кэширования. Зная, что некоторые виды ресурсов

изменяются чаще, чем другие, можно сформулировать политику кэширования для

браузеров и прокси-серверов. Например, ресурсу, который меняется менее часто,

может быть отдано предпочтение при кэшировании, обновляя его с исходного сер-

вера менее часто.

Характеристики трафика. Любой ресурс может изменяться между двумя последо-

вательными запросами, а сценарии могут создавать динамически формируемые отве-

ты любых типов. На практике предполагается, что частота изменений ресурса зависит

от типа содержания. На большинстве Web-сайтов изображения меняются не слишком

часто. Некоторые Web-сайты храпят Bcrpoeinibie изображения на отдельном компью-

тере,

предназначенном для статического содержания, как это будет детально рассмот-

рено в главе И (раздел 11.13). Например, HTML файл http://www.foo.com/in-

dex.html может иметь встроенное изображение http://www.foo.com/pic.gif. Точно

так же текстовые и HTML-ресурсы часто хранятся как статические файлы на ис-

ходном сервере. Эти ресурсы меняются только в случае модификации файлов. Од-

нако текстовые и HTML-файлы меняются гораздо чаще, чем изображения. Иногда

текстовые и HTML-файлы создаются сценариями в ответ на запросы пользовате-

лей. Например, пользователь может обратиться к поисковому серверу, который

ищет информацию по ключевым словам. В ответ поисковый сервер возвращает

HTML-файл с гиперссылками па найдегнхые Web-страницы. IloBTopeinie запроса

на следующий день может привести к созданию HTML-файла с другим списком

гинерссылок.

Некоторые ресурсы изменяются регулярно, например, ежеминутно, каждые чет-

верть часа, ежечасно или ежедневно [DFKM97, PQOOJ. Приведем примеры регуляр-

но изменяемых Web-ресурсов с прогнозами погоды или сведениями о котировках

акций, обновляемыми через заданное время. Администратор сайта может использо-

вать периодическую природу этих обновлений для сокращения нагрузки на сервер.

Эффективное использование заголовков кэшированных ответов в НТТР/1.1 может

снизить частоту запросов для проверки актуальности кэшируемых копий ресурсов.

Например, заголовок Expires может указывать время, когда ресурс должен быть

обновлен. Это позволяет уверенно вернуть в ответ на запрос кэшировапный доку-

мент, будучи уверенным, что он не будет изменен па исходном сервере. После исте-

чения времени, заданного в заголовке Expires, любой запрос будет направляться

исходному серверу для получения обновленной копии. Точное задание времени

в ответных НТТР-сообщепиях может уменьшить загрузку исходного сервера и со-

кратить задержку, испытываемую пользователем.

В модели рабочей нагрузки необходимо учитывать частоту изменений ресурсов.

Для некоторых Web-приложепий существенен и вид изменений. Например,

HTML-файл может включать счетчик, показывающий число обращений к Web-

страпице. Этот счетчик изменяется при каждом запросе. В некоторых случаях из-

менение не являются семантически важным. Пользователю не обязательно знать

точное значение счетчика. Как было сказано в главе 7 (раздел 7.3.3), в протокол

HTTP/L1 включены слабые атрибуты содержимого для случаев, когда два вариан-

та ресурса не являются семантически различными. Администратор сайта, зная, что

изменение ресурса несущественно, может использовать слабые атрибуты содержи-

мого для увеличения эффективхюсти кэширования браузерами и прокси-серверами.

В других случаях изменения ресурса могут быть семантически значимыми, но ка-

Глава 10. Описание параметров рабочей нагрузки 371

саться только нескольких байтов. Например, в некоторых текстовых и НТМЬ-4)ай-

лах изменения могут касаться небольшого фрагмента текста, например, номеров те-

лефонов, или гиперссылок, например, на встроенные изображения. Это требует ис-

кать пути, позволяющие передавать в HTTP-ответе только измепепия, а не весь

ресурс. Эта проблема будет рассмотрена в главе 15 (раздел 15.2).

Влияние распространения новых технологий. Частота и виды модификации

ресурсов могут меняться на различных этапах жизненного цикла Web-сайта. Bo.'iee

широкое использование динамического содержания, например, запросов к базам

данных влияет на частоту модификации ресурсов. Если информация в базе данных

изменяется со временем, то одинаковые запросы могут привод1ггь к различным ре-

зультатам. Подобно регуляр1юму изменению \х^\\ акций па бирже, нриложе1Н1я мо-

гут обусловить периодические изменения ресурсов. Эволюция инструмептальных

средств разработки Web-содержания также влияет на частоту изменений ресурсов.

Например, инструментальное средство разработки может назначать новый URL

для каждой повой версии файла и изымать старый URL, а не связывать один и тот

же URL со всеми версиями. Это приведет к уменьшению вероятности TOIX), что

Web-ресурсы будут меняться со временем. Клиенты могут носы.пать серверу об-

1ювлепия ресурсов в теле HTTP-запроса. В конечном счете, в дальнеЙ1лем могут

возникнуть новые тины содержания, которые будут меняться чавде HJHI реже типов

содержания, которые существуют в настоящее время. На изменяемость ресурсов

будут воздействовать приложения, включая средства индексирования Web-содер-

жания и кэширования.

10.4.6.

Временная локализация

Время между последовательными запросами одного и того же ресурса оказьнза-

ет значительное влияние на Web-трафик. Популярность ресурса определяет часто-

ту запросов без указания интервалов между ними, временная локализация характе-

ризует вероятность того, что запрошенный ресурс будет занрапннзагься снова

в ближайшем будущем. Когда последовательность запросов выявляет высокую

временную локализацию, то имеется высокая вероятность того, что запра1иивае-

мый ресурс уже находится в оперативной памяти исходного сервера и;н1 в кэше

прокси-сервера. Точное определение временной локализац1Н1 в потоке запросов яв-

ляется важной частью моделирования рабочей нагрузки сервера. Тесгирование

сервера тестами с низкой временной локализацией приведет к недооценке потен-

циальной производительности, которая будет достигнута, если фактический ногок

запросов будет иметь высокую временную локализацию. Высокая време1Н]ая лока-

лизация также увеличивает вероятность того, что запрос будет удовлетворен брау-

зером или прокси-сервером, и уменьшаем- вероятность того, Ч10 ресурс бу/1ет изме-

нен со времени предыдущего доступа.

Характеристики трафика. Временная локализация охватывает nin^ie, чем попу-

лярность ресурса, свойства рабочей нагрузки сервера. Например, рассмотрим за-

просы для ресурсов а и Ь,В последовательностях запросов (а, h, а, Ь, а, Ь, а) и {а, а,

а, а, Ь, Ь, Ь) имеется одинаковое число обращений к обоим ресурсам. Временная ло-

кализация сильнее у второго потока, т.к. запросы для каждого из ресурсов сгруппи-

рованы. Временная локализация может быть измерена с ]10мощью помещения каж-

дого запроса в последовательности в вершину стека, в качестве меры временной

локализации используется расстояние в стеке

—

число запросов 1между двумя за-

просами к одному и тому же ресурсу. Последовательность (а, Ь, а, Ь, а, Ь, а) начнет-

ся с состояния стека {а). Затем второй запрос будет помегцен на Bcpiunny стека, со-

372

Часть

IV. Измерение и описание Web-трафика

стояние стека в данном случае (А, а). Третий запрос требует доступа к ресурсу а,

который находится во второй позиции стека. Следовательно, этот запрос имеет

расстояние в стеке равное 2, а повое состояние стека имеет вид {а, Ь, а).

Малое расстояние в стеке подразумевает высокую временную локализацию. На-

пример, последовательность {а, а, а, а, Ь, Ь, Ь) начнет стек с {а). Второй, третий и

четвертый запросы для а будут иметь единичное расстояние в стеке. Аналогично

второй и третий запросы для b будут тоже иметь единичное расстояние в стеке.

Временная локализация ресурса может быть охарактеризована путем рассмотрения

распределения расстояний в стеке для последовательности запросов. Изучение

Web-трафика показало, что расстояния в стеке для запросов ресурсов соответству-

ют логарифмически нормальному распределению [AW97, BC98J, приведенному на

рис.

10.4. Большинство запросов к ресурсам, которые были сделаны в последнее

время, дают небольшое расстояние в стеке, что предполагает сильную степень вре-

менной локализации. Небольшая, по существенная доля ресурсов не запрашивает-

ся длительное время или вообще не запрашивается.

10.4.7.

Число встроенных ресурсов

Действие пользователя, например, щелчок мышью па гиперссылке, часто ини-

циирует серию HTTP-запросов для загрузки как самого HTML-доку мента, так и

встроенных в него ресурсов. Эти встроенные ресурсы могут представлять собой

изображения, сценарии JavaScript, другие HTML-файлы, отображаемые в фреймах.

Число встроенных ресурсов оказывает значительное влияние на нагрузку па сервер

и сеть. Клиент выдает отдельный НТТР-запрос для каждого из встроенных ресур-

сов,

если нет его кэшированной копии. Автоматически сгенерированные запросы

загружают сервер и сеть. Фактически клиент одновреме1пю открывает ряд парал-

лельных ТСР-соединений для получения необходимых встроенных ресурсов. Кро-

ме того, множественные запросы могут быть переданы последовательно по уста-

новленному ТСР-соединепию. Модель рабочей нагрузки, которая не учитывает ав-

томатическую загрузку встроенных ресурсов, не будет описывать ситуации

внезапного увеличения нагрузки па сервер и сеть. Кроме того, число встроенных

ресурсов оказывает влияние на эффективность установленного долговременного

соединения. Наличие большого числа встроенных ресурсов увеличивает вероят-

ность обработки последовательности HTTP-запросов, с помощью одного долговре-

менного ТСР-соединения.

Характеристики трафика. Выполненные в Web измерения показали, что медиа-

на числа встроенных в Web-страницу ресурсов лежит в диапазоне от 8 до 20

[СР95,

Mah97J. Распределение имеет сильный разброс значений, соответствуя рас-

пределению Парето [ВС98]. Небольшое, по существенное число страниц имеет

весьма большое количество встроенных ресурсов. Кроме того, число встроенных

ресурсов имеет тенденцию к возрастанию по мере увеличения числа высокоскоро-

стных подключений клиентов па работе и дома. Большое число встроенных ресур-

сов не обязательно преобразуется в большое число запросов к Web-серверу.

Во-первых, на встроенные ресурсы могут иметься гиперссылки па кэшировапных

Web-сграницах. Во-вторых, некоторые встроеппые изображения не обязательно

находятся на том же самом сервере, что и Web-страница. Например, Web-страпица

может содержать рекламные бапперы или изображения, которые расположены па

другом сервере, как это будет описано в главе 11 (раздел 11.13). Все это уменьшит

число запросов па встроеппые ресурсы к серверу, с которого была осуществлена

загрузка содержащей их Web-страпицы.

Глава 10. Описание параметров рабочей нагрузки 373

10.5.

Характеристики поведения пользователя

Характеристики рабочей нагрузки Web зависят от того, как пользователи загру-

жают Web-страницы с различных сайтов. Заход пользователя на сайт, число стра-

ниц, которое он загружает, и время ожидания между последовательными загрузка-

ми вносят свой вклад в трафик.

10,5.1.

Сеанс и прибытие запроса

Рабочая нагрузка нрокси-, Web-серверов и сети зависит от временных соотно-

шений в последовательности НТТР-занросов, исходящих от клиентов. Нагрузка,

обусловле1Н1ая одним клиентом, может быть смоделирована на трех уровнях: сеан-

сов,

переходов между страницами и запросов. Хотя Web-серверы не имеют явных

сеансов с пользователями, но серия запросов одного пользователя к одному серве-

ру может рассматриваться как сеанс. Пользовательский сеанс начинается с первого

запроса и заканчивается после последнего запроса, после которого следует период

неактивности. В процессе одного сеанса пользователь выполняет несколько гипер-

текстовых переходов по Web-сграницам сайта. Переход соответствует пользова-

тельскому действию, например, щелчку мышью на гинерссылке, отправке формы

или вводу URL в адресной строке браузера. Каждый переход инициирует отправку

браузером HTTP-запроса на ресурс, за которым, возможно, следуют автоматически

генерируемые запросы на встроенные ресурсы, гиперссылки на которые имеются

на данной странице.

С точки зрения сервера, каждый сеанс осуществляется с новым пользователем.

Некоторые действия, например, создание cookies, могут осуществляться на уровне

сеанса. Каждый пользовательский переход инициирует поток НТТР-занросов

к серверу. Клиент может установить новое ТСР-соединение для обработки запроса

или передать запрос по существующему соединению. Модель рабочей нагрузки

должна учитывать характеристики прибытия запросов на уровнях сеанса, TCP и

HTTP. Временные характеристики начал сеансов могут быть изучены путем изме-

рения времени между началом одного сеанса пользователя и началом сеанса сле-

дующего пользователя. Исследования показали, что интервалы между началами се-

ансов подчиняются экспоненциальному распределению [LNJV99, FelOObJ. Это одна

из редких ситуаций моделирования рабочей нагрузки, которая описывается экспо-

ненциальным распределением.

Однако экспоненциальное распределение не является достаточно точной моде-

лью для описания ТСР-соедипепий и НТТР-занросов, которые часто испытывают

всплески из-за изменений пользовательского поведения и автоматической загрузки

встроенных ресурсов. Для описания этих эффектов модель нагрузки должна учи-

тывать последовательность переходов во время сеанса работы пользователя, время

между последовательными переходами и число встроенных ресурсов на каждой из

страниц. Каждый из этих параметров обусловливает всплески НТТР-занросов. Вы-

сокая изменчивость означает, что среднее число запросов не может описывать на-

грузку сервера. Сервер может получать запросы со значительно большей частотой

во время некоторых периодов времени. Эффективная обработка всплесков запро-

сов требует дополнительных ресурсов от сервера и сети. Модель рабочей нагрузки,

которая не учитывает всплески нагрузки, будет переоценивать потенциальные воз-

можности Web-сервера.

374

Часть

IV.

Измерение

описание Weh-трафика

10.5.2.

Число переходов на сеанс

Число переходов, связанное с сеансом пользователя, оказывает существенное

влияние на рабочую нагрузку сервера. Если типичный пользователь загружает

большое число страниц, то пахрузка, обусловленная каждым сеансом, будет скла-

дываться из разнообразных передач данных. С другой стороны, если большинство

пользователей обращаются только к одной странице, то каждый сеанс будет вклю-

чать передачу всего одной страницы и ее встроенных элементов. В этом случае сер-

веру нет смысла поддерживать установленное долговременное ТСР-соединение по-

сле пересылки страницы и встроенных изображений, поскольку мала вероятность

получения дополнительных запросов от клиента. В дополнение к этому, число пе-

реходов на сеанс влияет на эффективность кэширования браузером. Рассмотрим

Web-сайт, имеющий ряд изображений, которые одновременно встроены в несколь-

ко страниц. Если пользователь посещает эти страницы, то изображения будут дос-

тупны из кэша браузера. Наоборот, если пользовательский сеанс включает в себя

единственное обращение к Web-странице, то серверу придется передавать полный

комплект встроенных изображений для этой страгнхцы.

Пользователи существенно различаются но числу страниц, которые они просмат-

ривают на Web-сайте. Некоторые пользователи посещают только основную страни-

цу Web-сайта и не обращаются к другим страницам. Другие могут провести час или

более за просмотром различных страниц сайта. Большинство сеансов включает не-

большое число переходов (от 4 до 10) [Mah97, LNJV99J. Однако результаты варьи-

руются от сайта к сайту. Например, сайты электронной коммерции пытаются удер-

жать пользователя, в то время как поисковые машины направляют пользователя

к содержимому других сайтов. Кроме того, кэширование в браузерах и прокси-серве-

рах приводит к уменьшению числа страниц, запрашиваемых с сайта. Число перехо-

дов описывается распределением Парето [LNJV99J, это подразумевает, что число пе-

реходов некоторых сеансов гораздо больше, чем остальных. В результате небольшая

часть посетителей сайта ответственна за большую часть запросов. Когда эти пользо-

ватели посещают сайт, то большое число запросов, генерируемое ими, может сущест-

венно снизить производителыюсть сервера, наблюдаемую другими пользователями.

Следовательно, реалистичная модель рабочей нафузки должна включать в себя

всплески нагрузки на сервер и сеть от таких пользователей.

10.5.3.

Временные интервалы между запросами

Время между двумя последовательными запросами пользователя тоже оказывает

влияние на рабочую нагрузку сервера и сети. Обычно браузер выдает запросы на

встроенные ресурсы в процессе получения и синтаксического анализа содержимого

HTML-файла. Однако время между двумя переходами зависит от поведения пользо-

вателя. В некоторых случаях пользователь просматривает Web-страницы очень бы-

стро,

затрачивая совсем мало времени на изучение содержимого каждой из них.

В других случаях пользователь может потратить по несколько минут на чтение стра-

ницы до того, как запросит следующую страницу. Время между моментом полной

загрузки страницы и моментом перехода пользователя на другую страгнщу называ-

ется

временем обдумывания

или

бездействия.

Характеристики времени бездействия

пользователя влияют на эффективность политики закрытия долговременных соеди-

нений. Простая политика сервера заключается в разрыве ТСР-соединения после не-

которого времени простоя, в течение которого не приходит новых НТТР-занросов.

Если время бездействия превышает этот период, то следующий НТТР-занрос потре-

бует установления нового ТСР-соединения.

Глава 10. Описание параметров рабочей нагрузки 375

Типичное время между переходами варьируется от сайта к сайту, считается, что

в больи1ипстве случаев это время пе превышает 60 секунд. В небольшой части слу-

чаев время бездействия является очень большим но сравнению со сре/1.ним зиаче-

1П4ем. Исследования показали, что время бездействия подчиняется распределению

Парето с медленно спадающим хвостом и со значением параметра раснределе1Н1я а

около 1.5 [BC98J. Считается, что время бездействия не полностью определяется

размером ответа, распределение которого имеет значение параметра а в диапазоне

от 1.0 до 1.5.

В общем и целом Web-трафик проявляет изменчивость в неско;пжих направле-

ниях. Медленно спадающие хвосты распределений вероятностей описывают ряд

свойств Web-трафика: размеры ресурсов, размеры ответов, количество встроенных

ресурсов в Web-страпицу, количество переходов на сеанс, время между последова-

тельными переходами. В результате сеансы могут быть смоделированы, как после-

довательности активных и пассивных периодов, в каждом активном периоде про-

исходит загрузка страницы и встроенных элементов, а пассивный период соответ-

ствует времени бездействия пользователя. Продолжительность как активного, так

и пассивного периодов имеют распределения с медленно спадающими хвостами.

Web-трафик состоит их суперпозиции множества последовательностей актив-

ных и неактивных периодов, каждый из которых соответствует разным по;Н)ЗОвате-

лям. В результате нагрузка Web-сервера и сети самоподобна, имеется несколько ха-

рактерных времен существенного изменения трафика от нескольких микросекунд

до нескольких минут [LTWW94, WTSW97, СВ97]. Это свидетельствует о том, чю

значение средней нагрузки не является хорошей оценкой для требований к сети

или к серверу. Типичный Web-сервер и сетевые компоненты долж]пл располагать

дополнительпыми возможностями для работы в периоды повышенной нагрузки.

Изменчивость Web-трафика также существенно влияет на выбор сервера и сете-

вых комнонегпов. Тесты, используемые для прокси-серверов и Web-серверов,

должны предусматривать присущую трафику изменчивость нагрузки. Аналогично

оценка сетевых протоколов, таких как TCP, должна учитывать из1менчивость раз-

меров передаваемых данных и нагрузки во времени.

10.6.

применение моделей рабочей нагрузки

Глубокое понимание характеристик рабочей нагрузки необходимо при создании

модели рабочей нагрузки для оценки Web-нротоколов и комнонентов программно-

го обеспечения. Создание Web-трафика с помощью модели включает созда!nie по-

тока HTTP-запросов, который учитывают различные параметры нагрузки и ис-

пользование этого потока в работе прокси-серверов и Web-серверов.

10.6.1.

Объединение параметров нагрузки

Создание синтезированного трафика включает в себя генерацию последователь-

ностей псевдослучайных чисел с распределениями вероятностей каждого из пара-

метров. Рассмотрим модель нагрузки, которая объединяет параметры и распределе-

ния, обсужденные в двух предыдущих разделах и сведенные в таблицу 10.2. Начала

пользовательских сеансов представляют собой Пуассоновский случайный процесс

с некоторым средним значением интервала между началами сеансов. Каждый новый

сеанс начинается через некоторое время после начала предыдущего. Временной ini-

тервал между началами сеансов может быть получен с помощью случайного числа

376

Часть

IV. Измерение и описание Web-трафика

на отрезке от

до 1, соответствующего экспоненциальному распределению F(x). Это

значение, в свою очередь, может использоваться для вычисления значения времен-

ного интервала х. Например, для экспоненциального распределения со средним

А,=

и случайного числа 0.3679 получим значение х=\ , т.к. е~^=0.3679. Повторяя эту про-

цедуру, создаем последовательность чисел, определяющих времена начал сеансов.

Каждый сеанс состоит из некоторого числа переходов, которое может быть вычисле-

но из распределения Парето. Каждый переход генерирует запрос Web-страницы, со-

стоящей HTML-файла и некоторого числа встроенных ресурсов. После загрузки

Web-страницы, задается некоторое время бездействия до следующего перехода; это

время бездействия также вычисляется с помощью распределения Парето.

Таблица 10.2. Распределения вероятностей в моделях рабочей нагрузки Web

Распределение

Экспоненциальное

Парето

Логарифмически нормальное

Зипфа

Параметры нагрузки |

Интервалы между сеансами |

Размеры ответов (хвост распределения)

Размеры ресурсов (хвост раснредслсния)

Число встроенных страниц

Время между двумя запросами |

Размеры ответов (тело распределения)

Размеры ресурсов (тело распределения)

Временная локализация |

Популярность ресурса

Подобным образом могут быть сгенерированы и характеристики ресурса. На-

пример, набор синтезирова1П1ых Web-страниц может быть сгенерирован заранее и

сохранен на сервере. Рассмотрим задачу создания 1000 Web-страниц для синтеза

рабочей нагрузки Web-сервера, Распределение вероятности размеров HTML-ре-

сурсов может быть использовано для определения размеров каждого из 1000

HTML-файлов. После этого можно использовать функцию распределения числа

BCTpoeiHibix ресурсов для определения числа встроенных ресурсов для каждой из

страниц. Размер каждого из встроенных ресурсов также определяется с помощью

распределения вероятности. Каждый из этих ресурсов будет иметь URL, который

появится в HTTP-запросах, исходящих от Web-клиента. Далее, для определения

доли клиентских запросов для каждого из ресурсов используется распределение

Зипфа, описывающее популярность ресурса. Наконец, каждая Web-страница на

сервере состоит из HTML-файла определенного размера и популярности, с кото-

рыми связано некоторое число встроенных ресурсов, каждый из которых имеет

собственный размер.

Генерация синтезированной рабочей нагрузки требует объединения характери-

стик ресурсов со временем клиентских запросов. Например, запрос может быть свя-

зан с определенным URL с помощью распределения вероятности. Это дает уверен-

ность в том, что клиент посещает каждую страницу в соответствии с ее популярно-

стью.

Однако это приближение не учитывает временной локализации

последовательности запросов для одного и того же ресурса. Для того чтобы убедить-

ся,

что клиентские запросы соответствуют как распределению популярности, так и

распределению временной локализации могут быть использованы дополнительные

Глава 10. Описание параметров рабочей нагрузки 377

приемы [BC98J. Другой важной проблемой является моделирование изменяющихся

па сервере ресурсов, чтобы учесть воздействие изменений в размере ресурсов в ре-

альном трафике, прошедшем кэширование. Например, времена модификации ресур-

сов MOiyT быть получены из распределения вероятностей. В каждый из моментов

модификации ресурс может быть изменен на сервере. Дальнейшие запросы для это-

го URL будут требовать от сервера передачи ресурса, а не ответа 304 Not Modified.

10.6.2.

Проверка достоверности модели рабочей нагрузки

Создать синтезированный трафик, который точно воспроизводил бы реальную

нагрузку, чрезвычайно трудно особенно с таким большим количеством взаимо-

влияющих факторов. Синтезированная рабочая нафузка не обязательно должна

учитывать все основные особенности Web-трафика. Использование модели нагруз-

ки для оценки производительности основано па предположении, что реально сис-

тема будет давать такую же или похожую производительность. В результате про-

верка достоверности синтезированной нагрузки является важным шагом в созда-

нии и использовании модели рабочей нагрузки. Проверку достоверности часто

путают с верификацией. Верификация включает проверку того, что синтезирован-

1Ш1Й трафик имеет те же статистические свойства, которые заложены в модель,

включая правильное распределение размеров ресурсов и времен бездействия. Про-

верка достоверности требует демонстрации того, что производительность системы

подвергнутой синтезированной нагрузке, соответствует производительности той

же самой системы при реальной нагрузке в соответствии с заранее определенными

метриками производительности.

Необходимость проверки достоверности модели возникает в большом числе

случаев. Когда производительность системы оценивается с помощью синтезиро-

ванной модели нагрузки или абстрактной модели системы, то /юстоверность ре-

зультатов находится под сомнением. Однако модели редко подвергаются строгой

проверке на достоверность. Такая проверка может быть трудной, длительной или

просто невозможной. В других случаях модель, которая прошла проверку досто-

верности для некоторых приложений, ошибочно используется в другой ситуации.

Обычно модель рабочей нагрузки конструируется для определенных целей, таких

как оценка производительности сервера и времени ожидания ответа пользовате-

лем. Может оказаться неподходящим использование одной и той же модели на-

грузки для получения других метрик производительности, например, загрузки про-

цессора сервера. Идеалыш1м было бы исследование каждой из основных метрик

производительности с помощью реальной нагрузки. Тот же самый сервер может

быть оценен и с помощью синтезированной нагрузки, что облегчает прямое сравне-

пие результатов измерений.

Модель синтезированной нагрузки используется также для тестирования серве-

ров в различных ситуациях, которые могут случиться на практике. В этом случае

сравнение с реальной нагрузкой может оказаться невозможным. Некоторые мето-

дики могут увеличить вероятность того, что синтетическая модель отражает реаль-

ные ситуации. Люди с опытом наблюдения Web-трафика могут испытать модель

нагрузки, чтобы увидеть, учитывает ли она особегнюсти реальной рабочей нагруз-

ки.

Анализ реального Web-трафика может помочь проверить заложе1Н1ые в модель

предположения. Например, предположим, что в модель рабочей нагрузки учитыва-

ет тот факт, что размер HTML-файла не зависит от числа и размеров встроенных

в Web-страницу изображений. Анализ Web-измерений позволяет определить, соот-

ветствуют ли предположения действительности. Кроме того, очень важно исследо-

378

Часть

IV. Измерение и описание Web-трафика

BaiHie чувствительности производительности системы к малым изменениям моде-

ли рабочей нагрузки. Если слабые изменения входных параметров оказывают су-

щественное влияние па производительность системы, то это означает, что

небольшие неточности в моделировании реальной рабочей нагрузки скомпромети-

руют нсно;н^зуемую синтезированную модель.

10.6.3.

Генерация синтезированного трафика

Приложение синтезированной нагрузки к прокси- или Web-серверу требует ре-

1нення нескольких практических задач. Тестирование высокопроизводительного

сервера гребует создания высокоскоростного потока запросов от большого числа

синтезированных клиентов, каждый из которых выдает запросы на основе модели

нагрузки. Однако иснользование отдельного компьютера для каждого клиента яв-

ляется дорогостоящей и труднореализуемой задачей. В идеале множество синтези-

рованных клиентов можно запустить па одном компьютере [ВС98, BD99). Однако

совмес! ное использование ресурсов компьютера может привести к возникновению

корреляции между клиентами. Клиенты, запуи;енные на одном компьютере, будут

конкурировать за доступ к процессору, оперативной памяти, дисковой подсистеме,

а также за доступ к сети. Для предотвращения взаимодействия между синтезиро-

ванными клнегггами, число клиентов, приходящихся на одни компьютер, должно

бьль 01ра11ичено и основываться на тестировании, определяющем момент, когда

сне тема не сможет обслуживать ни одного дополнительного клиегпа без искаже-

ния вида трафика. Поддержание большого числа клиентов на одном компьютере

чребует на.'шчня системы с больишм объемОхМ оперативной памяти и эффективной

реализацией стека протоколов TCP/IP [BD99].

Создание синтезированного трафика обеспечивает благоприятную возможность

()цен1ггь ]и)зможности нрокси- или Web-сервера контролируемым способом. Нако-

пление статистики производительности является решающей частью этого процес-

са. Однако измерение и запись данных о производительности может повлиять на

работу клиента и сервера. Например, синтезированный клиент может зарегистри-

ровать задержку в ответе сервера на HTTP-запрос. Время, затраченное на измере-

ние и запись статистики, может повлиять на посылку последующих запросов. Ис-

кажения можно сократить путем записи статистики в оперативную память, а не

в с|)айл на диске. Однако для некоторых систем оперативная намять может оказать-

ся кр1ггическнм ресурсом. Искажения можно также сократить путем уменьшения

числа клиентов, исполняемых на каждом компьютере. Сервер может регистриро-

вать данные о производительности, такие как загрузка процессора или число

ТСР-соединений. Ограничение частоты получения и записи этих данных может

уменьшить нагрузку на сервер.

Свойства сети также оказывают существенное влияние на производительность

нрокси- и Web-серверов. Internet проявляет высокую изменчивость в задержке па-

кетов и вероятностях их потерь, что влияет на управление скользящим окном TCP.

Реа;н>ная оценка производительности Web-сервера должна учитывать эти взаимо-

де11с]ВИЯ. Клиенты с высокоскоростгнлм подключением непосредственно к серверу,

будут создавать нагрузочный трафик, существенно отличающийся от трафика кли-

ентов, разбросанных по всему миру и имеющих низкоскоростные подключения.

Ннзкоскоростные подключения с большим временем ожидания ответов приводят

к необходимости поддержания более длительных ТСР-соединений на сервере, что

уве;н1Ч1нзает число соединений, которые должны обслуживаться одновремехню.

Кроме того, повторные передачи утерянных пакетов, увеличивают объем данных,

Глава 10. Описание параметров рабочей нагрузки 379

передаваемых сервером. Идеальное решение этой проблемы заключается в распре-

делении синтезированных клиентов в разных точках Internet. Однако на практике

это может оказаться достаточно дорогостоящим решением. Альтернативой являет-

ся направление клиентских запросов и ответов сервера через компьютер, который

эмулирует свойства сети, задерживая или теряя пакеты [BD99].

Производительность Web зависит от соотношений между пользовательским по-

ведением, характеристиками ресурсов, загрузкой сервера и динамикой сети. Охва-

тить все эти факторы в модели рабочей нафузки па практике чрезвычайно трудно.

Однако синтезированная модель нагрузки помогает оценить и сравнить компонен-

ты программного обеспечения Web контролируемым образом. Было проведено

большое число экспериментов для сравнения различных реализаций прокси- и

Web-серверов [Wbe, TS95, Spea, Pol, MCS98,

АС98].

Эти эксперименты использу-

ют набор клиентских и серверных программ для синтеза рабочей нагрузки, а также

программ сбора и анализа данных. Обычно синтезированная нагрузка в этих экспе-

риментах имеет стандартные параметры, задаваемые для создания одинаковой па-

грузки при каждом их применении. С течением времени коммерческое программ-

ное обеспечение становится все более сложным, учитывающим все больше пара-

метров нагрузки и новые особенности HTTP. Кроме того, тесты изменяются

в направлении анализа других важных аспектов Web-трафика, например, динами-

ческой генерации ресурсов и ответов об ошибках.

10.7.

Конфиденциальность пользователей

Сбор и анализ Web-трафика позволяет получить важную информацию о функ-

ционировании Web. Однако Web-запросы и ответы вк/ночают информацию о конеч-

ных пользователях и их привычках. В этом разделе будут обсуждены различные

виды личных данных и те, кто имеет доступ к этим данным. Далее будет обсужден

вопрос о том, как измеренные данные могут привести к нарушению конфиденциаль-

ности пользователей.

10.7.1.

Доступ к данным пользователей

Действия пользователя, такие как переходы но гиперссылкам и отправка форм,

преобразуются в последовательность запросов. Браузер обрабатывает пользова-

тельский запрос путем извлечения данных из кэша, либо связываясь с сервером.

Браузер также инициирует автоматические запросы для загрузки встроенных изо-

бражений и повторяет запросы для ответов нереадресации. Далее браузер может

запустить специальное приложение для просмотра полученного документа, что мо-

жет обусловить дополнительные Н7ТР-запросы. Пользователь может не знать о

полном наборе запросов, инициированных его действиями. В запросах содерл<ится

информация о том, какие Web-страпицы просматривал пользователь, что искал

в Web, какие делал онлайновые покупки, какие текстовые данные вводил в формы.

Содержимое HTTP-запросов и ответов может быть записано сторонами, вовлечен-

ными в обмен, также как и другими компонентами, которые перехватывают сете-

вой трафик. Например, HTTP-ответ может быть записан в кэш браузера или пере-

хвачен монитором пакетов.

Web создает иллюзию анонимности. Однако НТТР-занросы могут содержать

различную информацию, идентифицирующую пользователя. В посланный запрос

браузер может вставить различные HTTP-заголовки, которые содержат личную