Трафик без повторов

Исследователи из Microsoft Research India разработали технологию сжатия и устранения избыточности трафика, которая может работать как хостовый сервис в корпоративных системах, устраняя необходимость в применении выделенных ускорителей глобальных сетей.

Проект получил название Coconet (от Content Compression in Networks). В течение нескольких дней исследователи проводили мониторинг каналов доступа в 11 корпоративных офисах, а также в Университете Висконсина, ряд студентов которого принимают участие в работе над этим проектом.

Как отметил руководитель проекта Coconet Рамачандран Рамджи, по оценкам специалистов Microsoft Research, можно сэкономить около 75% полосы пропускания, используя механизмы устранения избыточности в трафике клиентов. Избыточность, называемая создателями Coconet «внутрипользовательской», возникает, например, когда один и тот же пользователь получает с сервера разные версии одних и тех же файлов или посещает одни и те же сайты, чтобы получить обновление ранее уже запрашивавшегося контента. По мнению Рамджи, при таком подходе можно перенести задачу устранения избыточности на программное обеспечение, работающее на оконечных устройствах сети, тем самым отказавшись от необходимости устанавливать дорогостоящие ускорители и другие промежуточные механизмы.

Многие крупные компании, имеющие филиалы по всему миру, консолидируют свои ИТ-ресурсы в нескольких офисах, чтобы сократить затраты на администрирование. В результате трафик, который раньше был трафиком локальной сети, поступающим от пользовательского ПК к серверу в офисе филиала, теперь становится относительно дорогим трафиком глобальной сети. Консолидация увеличивает спрос на такие решения, как ускорители глобальной сети, которые, помимо прочих операций, снижают избыточность сетевого трафика.

Программное обеспечение, разработанное в Microsoft Research India, позволяет осуществлять обработку на сервере локальной сети. При таком подходе не возникает конфликтов с шифрованием в сети, поскольку такое устранение избыточности выполняется до шифрования.

Программное обеспечение работает на серверах общего назначения и требует кэш-памяти обычного размера, то есть около 10 Мбайт на сервере в расчете на каждого клиента и еще 10 Мбайт на клиенте. Благодаря этому данная технология может также применяться в тех случаях, когда клиентом является устройство с ограниченными ресурсами, например смартфон.

Хостовый сервис может идентифицировать и устранять даже минимальную избыточность, вплоть до 32 байт в пакете, как заметил Рамджи. Если найдены одинаковые байты в данных, которые должны быть отосланы в ответ на запрос, и данных, ранее уже переданных на клиент, сервер «понимает» это и выполняет переадресацию на клиент.

Такая технология, однако, не решает проблемы «межпользовательской» избыточности, которая возникает, когда множество пользователей запрашивают одни и те же данные. Рамджи подчеркнул, что, помимо ускорителей глобальных сетей, есть и другие технологии, служащие для решения этих проблем, в том числе функция BranchCache в Windows 7.

Он также особо отметил низкую задержку в случае применения предложенной Microsoft Research технологии, поскольку она позволяет обойти ограничения, связанные с тем, что TCP выполняет разбиение пакетов перед их передачей.