Кришнамурти Б., Рексфорд Дж. Web-протоколы. Теория и практика

Подождите немного. Документ загружается.

Часть

III

Web-протоколы

Протоколы, связанные с HTTP

Передача информации в Web зависит от набора коммуникационных протоко-

лов.

Протокол определяет как синтаксис, так и семантику сообщений, которыми

обмениваются отправитель и получатель. Например, протокол передачи гипертек-

ста Hypertext Transfer Protocol (HTTP) определяет формат и назначение запросов,

отправляемых Web-клиентами, и ответов, возвращаемых Web-серверами. Сетевые

протоколы обычно распределяются по уровням, каждый из которых обслуживает

определенные составляющие коммуникационного взаимодействия. Набор протоко-

лов Internet состоит из четырех основных уровней, представленных на рис. 5.1:

• Канальный уровень. Канальный уровень определяет взаимодействие с физи-

ческой средой передачи данных, например, Ethernet, Asynchronous Transfer

Mode (ATM) или Synchronous Optical Network (SONET).

• Сетевой уровень. Сетевой уровень управляет доставкой отдельных пакетов

данных через сеть. Протоколы сетевого уровня реализуется в маршрутизато-

рах и оконечных компьютерах.

• Транспортный уровень. Транспортный уровень координирует взаимодейст-

вие между хостами в интересах прикладного уровня. На практике протоколы

транспортного уровня обычно реализуются операционной системой хоста.

ТОР Транспортный уровень

Прикладной уровень

Рис. 5.1. Уровни протоколов

134 Часть III. Web-протоколы

• Прикладной уровень. Прикладной уровень определяет специфику конкрет-

ных приложений. На практике протокол прикладного уровня обычно реализу-

ется как часть прикладного программного обеспечения, такого как Web-брау-

зер или Web-сервер.

Разделение функций дает возможность каждому протоколу сосредоточиться на

выполнении одной задачи с четко определенными интерфейсами с протоколами

смежных уровней. Стандартизация протоколов обеспечивает совместимость между

компонентами, разработанными различными производителями.

В этой главе представлен обзор трех основных протоколов, вовлеченных в пере-

дачу HTTP-сообщений, начиная с сетевого уровня:

• Internet Protocol (IP). IP

—

это протокол сетевого уровня, который коорди-

нирует доставку отдельных пакетов от одного хоста другому по IP-адресу

компьютера-адресата. IP работает поверх различных протоколов канального

уровня.

• Transmission Control Protocol (TCP). TCP — это протокол транспортного

уровня, который координирует передачу IP-пакетов для обеспечения надеж-

ного двунаправленного соединения между двумя приложениями. TCP являет-

ся основным транспортным протоколом в Internet, хотя некоторые приложе-

ния используют протокол User Datagram Protocol (UDP).

• Domain Name System (DNS). Система именования доменов (DNS) — это

протокол прикладного уровня, который управляет преобразованием домен-

ных имен, например, www.foo.com, в IP-адреса и наоборот. DNS предоставля-

ет этот общий сервис другим приложениям.

HTTP использует DNS для преобразования доменного имени сервера в IP-ад-

рес,

TCP

—

для отправки HTTP-запроса серверу и HTTP-ответа клиегггу, а IP —

для доставки отдельных пакетов. После подробного рассмотрения IP, TCP и DNS

мы представим краткий обзор четырех протоколов прикладного уровня: Telnet,

File Transfer Protocol (FTP), Simple Mail Transfer Protocol (SMTP) и Network News

Transfer Protocol (NNTP). Ha этих протоколах основаны приложения, которые ис-

пользовались до появления Web и оказали влияние на разработку HTTP. Кроме

того,

эти протоколы стали составной частью Web, поскольку они поддерживаются

Web-браузерами.

5.1.

Internet Protocol

Протокол Internet Protocol (IP) представляет собой протокол сетевого уровня,

являющийся основой Internet. В этом разделе будет описано, как Internet эволю-

ционировала от экспериментальной сети, объединявшей несколько научно-иссле-

довательских организаций в 60-х годах. Затем будут представлены основные цели

разработки, которые нашли воплощение в спецификации IP, и рассказано об ис-

пользова1Н1и IP-адресов для идентификации хостов. Для полноты картины будет

также представлен обзор информации, содержащейся в заголовке 1Р-накета.

5.1.1.

Эволюция архитектуры Internet

в конце 60-х годов в США имелось небольшое число суперкомпьютеров, ис-

пользуемых для научных исследований в различных национальных лабораториях.

Эти машины обычно функционировали в пакетном режиме, когда пользователи

Глава 5. Протоколы, связанные с HTTP 135

сначала вводили в компьютер задания, а позднее забирали результаты. Изначально

доступ к этим суперкомпьютерам был возможен только для людей, физически на-

ходившихся рядом с ними. Высокая стоимость таких суперкомпьютеров заставила

Агентство по перспективным исследовательским проектам (ARPA) Министерства

обороны США искать способы совместного использования вычислительных ресур-

сов национальными лабораториями и университетскими исследовательскими груп-

пами. Это привело к созданию сети ARPANET, позволившей исследовательским

организациям взаимодействовать друг с другом. Кроме предоставления удаленного

доступа к суперкомпьютерам, сеть ARPANET облегчила сотрудничество между вы-

числительными центрами, дав возможность пользователям совместно использовать

файлы и обмениваться сообщениями электрогнюй почты.

Рост ARPANET продолжился в 70-х годах. Все больше университетов и науч-

но-исследовательских организаций по всему миру стали подключаться к сети. По-

мимо этого, были разработаны коммуникационные протоколы для множества при-

ложений, включая FTP. В 80-х годах официальное принятие открытых, стандарт-

ных протоколов для передачи данных через ARPANET создало почву для быстрого

роста количества компьютеров, подключенных к сети. Стандарты протоколов IP и

TCP имели важное значение для обеспечения взаимодействия между различными

типами компьютеров с помощью различных сетевых технологий. Другим важным

прорывом стала реализация IP в версии Berkeley Software Distribution (BSD) опе-

рационной системы UNIX. BSD UNIX свободно распространялась в высших учеб-

ных заведениях, что в свою очередь привело к подключению к ARPANET большо-

го числа пользователей. В ряде случаев большое число компьютеров в локальной

сети организации могло иметь доступ к ARPANET. Расширившись, ARPANET ста-

ла использоваться для взаимодействия сетей, а не компьютеров.

Начиная с 1988 г., ARPANET стала постепенно вытесняться сетью NSFNET,

опорной сетью Internet, созданной Национальным научным фондом США (NSF).

NSFNET, как и ARPANET, первоначально использовали в основгюм сотрудники

университетов и научно-исследовательских организаций. С начала 90-х годов

NSFNET стала использоваться и для передачи коммерческого трафика. В середине

90-х годов Internet стала большой коммерческой сетью, благодаря появлению на

свет World Wide Web, или Всемирной паутины, ставшей доминирующим приложе-

нием в сети. В США сеть, финансируемая правительством, была преобразована

в множество опорных сетей, работу которых обеспечивали крупные сетевые провай-

деры. Тем не менее, правительство сыграло важную роль в финансировании созда-

ния нескольких пунктов обмена трафиком. К концу 90-х годов сеть Internet состояла

из опорных сетей, взаимодействующих между собой через общедоступные пункты

обмена трафиком и прямые соединения. Увеличение объема передаваемых данных

привело к необходимости увеличению производительности и области охвата, т.е.

присутствию в Internet практически каждой стране мира. Подробнее об истории

Internet вы можете узнать из других источников [Sal95, LCC^97, Abb99, ISO].

В начале 21-го века Internet состоит из сетей, каждая из которых поддерживает-

ся какой-либо организацией, будь то университет, компания, или правительствен-

ный орган. Каждая организация имеет свое собственное сетевое оборудование для

обмена трафиком между пользователями и остальной частью Internet. Сеть состо-

ит из маршрутизаторов, которые направляют трафик по множеству каналов. Канал

может использовать разнообразные средства, начиная от телефонных линий и за-

канчивая высокоскоростными 0ПТ0В0Л0К0ГН1ЫМИ линиями. Маршрутизатор пред-

ставляет собой компьютер специального назначения, который предназначен для

перенаправления трафика от входящих к исходящим каналам. Маршрутизаторы

136

Часть

III.

Web-протоколы

работают под управлением ряда протоколов, стандартизованных Рабочей группой

по инженерным проблемам Internet (IETF). Тот факт, что IP не зависит от техно-

логий канального уровня, имеет важное значение, так как дает возможность пере-

давать Internet-трафик по различным каналам, а также между маршрутизаторами,

созданными различными производителями оборудования.

После получения трафика из входящего канала маршрутизатор должен выбрать

исходящий канал для передачи в направлении его окончательного назначения. Вы-

бор маршрутов передачи 1Р-трафика определяется рядом протоколов маршрутиза-

ции. Внутри одной сети маршрутизаторы взаимодействуют с использованием внут-

ридоменных протоколов, в то время как междоменные протоколы используются

для взаимодействия между сетями. Различия внутридоменной и междоменной

маршрутизацией сходно с доставкой почты. Сначала письмо направляется из ре-

гиона, в котором оно было отправлено, в регион, где оно должно быть получено.

Затем в регионе, где живет получатель, осуществляются действия по доставке

письма непосредственно получателю. Письмо может путешествовать, проходя на

своем пути через ряд почтовых отделений в различных странах и городах. Тем не

менее, отправителю нужно всего лишь знать

адрес

получателя, а не весь путь, кото-

рый должно пройти письмо. Фактически любому почтовому отделению также не

нужно знать весь путь

—

достаточно знать лишь о следующем этане пути. Анало-

гичным образом маршрутизатор просто пересылает Internet-трафик следующему

маршрутизатору на пути следования. Аналогия с обычной почтой весьма полезна

для понимания принципов функционирования IP-сетей.

5.1

•2,

Цели разработки IP

IP унаследовал большинство идей от протоколов, использовавшихся в ARPA-

NET [С1а88]. Основная идея IP

—

сохранить относительную простоту сети, возло-

жив основные функции на хосты. Это сильно контрастирует с телефонной сетью,

где используются очень сложные способы коммутации, но простые оконечные уст-

ройства (т.е. телефоны). IP предоставляет интегрированную среду для отправки

отдельных

пакетов.

Пакет представляет собой единицу информации

—

определен-

ное число байтов данных, указанное отправителем. При «путешествии» от отпра-

вителя к получателю пакет проходит через ряд маршрутизаторов, которые взаимо-

действуют по протоколу IP, как показано на рис. 5.2. Вернувшись к аналогии

с обычной почтой, можно отметить, что передача IP-пакетов через Internet схожа

с отправкой письма по почте. Почта прилагает максимальные усилия, чтобы быст-

ро доставить письмо. Однако письмо может не достичь адресата или находиться

в пути слишком долго. Серия писем, отправленных от одного человека к другому,

может придти не в том порядке, в котором письма были отправлены.

Аналогичным образом, маршрутизаторы в Internet обрабатывают каждый пакет

независимо и не нуждаются в сохранении информации о состоянии между после-

довательными пакетами. Последовательность IP-пакетов, передаваемых от одного

хоста другому, не обязательно проходит в сети одним и тем же путем. Пакеты мо-

гут теряться, повреждаться или доставляться не в том порядке. В этом смысле

обычная почта и Internet заметно отличаются от традиционной телефогнюй сети.

В телефонной сети устанавливается строго определенгюе соединение между любы-

ми двумя абонентами, для каждого соединения перед передачей данных выделяет-

ся необходимая полоса пропускания. Например, сеть может выделить полосу про-

пускания в 64 Кбит/с для каждого телефонного соединения. Телефонное соедине-

ние не устанавливается, если не будет иметься достаточно ресурсов. Это

Глава

Протоколы,

связанные

HTTP

137

Web-клиент

Web-сервер

HTTP

HTTP-сообщение

TCP

Сегмент TCP

Маршрутизатор Маршрутизатор

*^. {'

IP-^пакет

1Р-{пакет

Интерфейс

Ethernet

2:^.

Интерфейс

Ethernet

Интерфейс

SONET

Ethernet

1Р-паи:ет

HTTP

TCP

Z'^

Интерфейс

SONET

Канал SONET

Интерфейс

Ethernet

Интерфейс

Ethernet

Рис.

5.2. Протоколы, используемые при передаче НТТР-сообщеиий

гарантирует, что текущие телефонные соединения не будут подвергаться како-

му-либо воздействию при установлении нового соединения. В противоположность

этому обычная почта явным образом не ограничивает число писем, которое может

быть отправлено; в периоды наибольшей активности абонентов, например, перед

праздниками, производительность системы может снижаться. И Internet, и обыч-

ная почта используют

коммутацию

пакетов,

в противоположность

коммутации

ка-

налов, используемой в традиционных телефонных сетях.

Различия обусловлены тем фактом, что сеть Internet была разработана совсем

для другой цели

—

поддержки удалешюго доступа к совместно используемым ре-

сурсам. Пользователь может провести несколько часов, работая с удаленным ком-

пьютером, внутри сеанса могут быть продолжительные периоды бездействия. На-

личие выделенного капала для такого трафика будет расточительством. Вместо

этого Internet-трафик делится на IP-пакеты, которые передаются по мере необхо-

димости. Поскольку трафик может формироваться в любой момент времени, каж-

дый пакет должен иметь

заголовок,

идентифицирующий место назначения. Заголо-

вок IP-пакета аналогичен конверту с письмом, который передается по почте. Ин-

формация, содержащаяся в заголовке, не нужна в сети с коммутацией каналов.

Несмотря на затраты, связанные с включением заголовка в каждый отправляемый

пакет, пакетная коммутация при передаче данных обычно более эффективна, чем

коммутация каналов, поскольку сеть с пакетной коммутацией может чередовать

график различных пар отправитель-получатель на уровне пакетов. Пакетная ком-

мутация позволяет активным отправителям и получателям использовать доступ-

ные сетевые ресурсы.

Если сеть загружена слабо, входящий пакет сразу же передается в исходящий

канал любым маршрутизатором на его пути. Однако отсутствие выделенного кана-

ла приводит к тому, что сеть не всегда имеет достаточно ресурсов, чтобы передать

каждый из пакетов к его месту назначения. Многочисленные пары отправи-

тель-получатель могут быть активными одновременно, что ведет к значительной

загрузке определенных каналов в сети. Когда канал перегружен, маршрутизатор

временно хранит ожидающие пакеты в очереди. При большой перегрузке маршру-

тизатор может отвергнуть один или несколько пакетов, чтобы избежать переполие-

138 Часть III. Web-протоколы

ПИЯ очереди. Однако большинство Internet-приложений, таких как Web и передача

файлов, не могут допускать потери данных. Более строгие требования этих прило-

жений, казалось бы, противоречат основной парадигме ненадежной доставки паке-

тов.

Философия IP не предполагает, что отсутствие гарантии доставки устроит

разработчиков прр1ложений. Средства для решения таких проблем реализуются

протоколами транспортного уровня, работающими па компьютерах отправителя и

получателя, а не маршрутизаторами в сети.

Ограничение функциональных возможностей сетевых маршрутизаторов явля-

лось важной целью разработки при создании ARPANET. Договорившись об отно-

сительной простоте сети, разработчики ARPANET смогли сосредоточить больше

внимания на разработке приложений. Кроме того, разработчиков беспокоило, как

более сложная сеть будет реагировать па сбои. Аппаратные и программные компо-

ненты IP-сетей не отличались надежностью, особенно в сравнении со зрелыми тех-

нологиями телефонных сетей. Помимо этого разработчики ARPANET хотели, что-

бы сеть продолжала функционировать даже в случае повреждений или злонаме-

ренных атак, приводящих к выходу из строя отдельных компонентов. Позднее, но

мере развития ARPANET, а затем и Internet, стало чрезвычайно важно обеспечить

подключение новых маршрутизаторов и каналов без нарушения работы сети.

IP-маршрутизаторы автоматически приспосабливаются к изменению топологии

сети. Когда маршрутизатор или канал связи выходят из строя, оставшиеся маршру-

тизаторы рассчитывают новые маршруты, и передача трафика продолжается. Отка-

завший маршрутизатор не хранит какую-либо важную информацию, которая необ-

ходима для поддержания связи между отправителем и получателем. Связь может

сохраняться до тех пор, пока не произойдет отказ компьютера-отправителя или

компьютера-получателя, а также пока в сети имеется крайней мере один путь меж-

ду ними. В самом худшем случае отказ может привести к потере пакетов.

Простота IP способствует тому, что можно продолжать доставку трафика при

наличии временных отказов в сети. Конечные хосты реализуют протоколы транс-

портного уровня поверх IP, координируя доставку данных между приложениями.

Двумя основными транспортными протоколами являются Transmission Control

Protocol (TCP) и User Datagram Protocol (UDP). Оба протокола стандартизованы

и реализованы практически во всех операционных системах. TCP предоставляет

основную абстракцию, необходимую большинству Internet-приложепий,

—

логиче-

ское соединение, которое осуществляет гарантированную доставку последователь-

ности байтов от отправителя к получателю в упорядоченном виде. Стандартизо-

ванный в 1980 г., TCP обеспечивает основу для протоколов Telnet, FTP, SMTP,

NNTP и HTTP. TCP является протоколом транспортного уровня, с помощью кото-

рого передается основная часть трафика в Internet. Способность TCP адаптиро-

ваться к перегрузке сети имеет важное значение в контексте продолжающегося

роста Internet. Подробнее о TCP мы поговорим в разделе 5.2.

UDP обеспечивает простую абстракцию ненадежной доставки дейтаграмм. От-

правляющее приложение инструктирует операционную систему послать набор

байтов удаленному приложению. UDP-дейтаграмма посылается в IP-пакете, на-

правляемом принимающей машине. IP-пакет может быть потерян или задержан

в сети. Повторная передача потерянной дейтаграммы, если это требуется, должна

быть выполнена отправляющим приложением. UDP хорошо подходит для прило-

жений, которые терпимы к потере пакетов. Например, многие мультимедийные

приложения передают аудио и видео как поток UDP-пакетов. Потерянный пакет

может ухудшить качество аудио- или видеоинформации, воспринимаемой получа-

телем. Однако приложение будет продолжать функционировать. Предоставление

Глава 5. Протоколы, связанные с HTTP 139

отправителю возможности решать, передавать ли данные повторно, дает приложе-

нию дополнительную гибкость. UDP также используется другими приложениями,

которые передают короткие запросы и ответы. Далее в этой главе, в разделе 5.3, бу-

дет описано применение UDP для запросов к DNS. Приложение может повторить

свой запрос, если ответ не поступил в течение определенного промежутка времени.

IP является центральным в группе протоколов различных уровней, как это по-

казано на рис. 5.1. Протоколы прикладного уровня, такие как FTP и HTTP, осно-

вываются па протоколе транспортного уровня при доставке сообщений между свя-

зывающимися друг с другом хостами. Протоколы прикладного уровня и протоко-

лы транспортного уровня используются для организации связи между хостами.

Протокол сетевого уровня обеспечивает доставку отдельных пакетов. Все Inter-

net-приложения основаны на одном, всеобъемлющем протоколе сетевого уровня

—

Internet Protocol. Протокол сетевого уровня обеспечивает коммуникационное взаи-

модействие между отдельными сетевыми компонентами, такими как хосты и мар-

шрутизаторы. IP передает пакеты, использую различные технологии канального

уровня, включая Ethernet или SONET. Способность IP согласованно работать

с различными протоколами канального и прикладного уровней имеет важное зна-

чение для быстрого развития Internet и Web.

Несмотря на преимущества, которые дает наличие простого протокола сетевого

уровня, решение реализовать транспортные протоколы на оконечных хостах имеет

существенное влияние на производительность. Применение протоколов TCP и

UDP совместно с IP подразумевает, что эти протоколы транспортного уровня

должны быть терпимы к задержкам и потерям в IP-сети. На первых порах сущест-

вования ARPANET большинство приложений было не слишком чувствительно

к задержкам. Незначительное увеличение задержки при выполнении пакетного за-

дания на суперкомпьютере или при доставке сообщений электронной почты было

не особенно ощутимо для пользователей. Хотя задержка оказывает заметное влия-

ние на интерактивные приложения, такие как Telnet, небольшое число пользовате-

лей в сети ARPANET не ожидали от сети высокой производительности и надежно-

сти.

Пользователи стали не столь терпимы к низкой производительности по мере

развития Internet. Подобно Telnet, Web является интерактивным приложением.

Задержки в доставке Web-содержания раздражают пользователей Web. Кроме

того,

новые Internet-пpилoжeIIия, такие как Internet-тeлeфoIIИя и мультимедийное

гютоковое вещание, еще более требовательны к производительности сети.

В ответ на эти требования эволюция Internet пошла в сторону совершенствова-

ния поддержки приложений, которые требуют предсказуемой производительности

при коммуникационных взаимодействиях. Новые IP-маршрутизаторы способны

дифференцировать трафик от различных пользователей или приложений, чтобы

предоставить лучший сервис для части графика. Например, маршрутизаторы могут

оказывать предпочтение пакетам, передающим аудиоинформацию для приложений

1Р-телефонии, перед пакетами, передающими сообщение электрогнюй почты. По-

мимо этого, провайдеры Internet могут предоставлять более высокую производи-

тельность для клиентов, которые платят больше, за счет клиентов, которые платят

меньше. Со временем Internet в большей степени приблизится к традиционной те-

лефонной сети, которая обеспечивает предсказуемый и надежный сервис. Однако

имеется значительное противодействие превращению Internet в сеть с коммутаци-

ей каналов, поскольку при этом придется пожертвовать простотой и устойчиво-

стью децентрализованной, некоммутируемой сети. Большинство предлагаемых из-

менений в Internet сохраняет основную идею доставки пакетов с помощью IP.