Способы хранения данных облачным провайдером

Объем хранилища данных собственной ИТ-инфраструктуры всегда ограничен. Можно удалять лишнее, использовать сжатие и дедупликацию, покупать диски и дисковые полки, но все это дорого, требует определенной компетенции и времени. Мигрировав в «облако», о таких ограничениях инфраструктуры можно забыть. Виртуализация имеет некоторые пределы, ограничивающие ваши возможности. Например, число vCPU вашей машины никогда не сможет быть больше, чем их доступно в одном сокете, однако масштабирование дискового пространства практически безгранично.

Разнообразие типов оборудования и производителей велико, каждый облачный провайдер выбирает аппаратную платформу для своих систем хранения данных (СХД) исходя из множества факторов. Для одних имеет значение соотношение цены и качества, для других — совместимость с имеющимся оборудованием, третьим важно доверие к бренду. А вот разновидностей хранилищ по способу размещения и доступа к данным всего три:

— блочное
— файловое
— объектное

Использование каждого из них связано с конкретной задачей клиента.

Типы хранилищ данных

Блочное хранение — традиционный способ для жестких дисков. Его принцип заключается в разбиении файлов с данными на блоки одинакового размера, имеющие уникальный адрес, но не содержащие никаких дополнительных сведений о том, что в нем хранится. Например, драйвер жесткого диска использует адрес блока на форматированном диске, чтобы считать его. Таким же образом поступают и многие приложения, например базы данных СУБД (Oracle, DB2 и др.). Облачные провайдеры активно используют такой способ хранения данных, строя высокоскоростные SAN-сети по протоколам Fibre Channel, iSCSI или AoE.

Файловое хранилище представляет собой иерархическую структуру, в которой данные хранятся в виде файлов и папок, а доступ к ним осуществляется с помощью клиентского интерфейса по имени файла или каталога. Типичным примером файлового хранилища являются популярные СХД — NAS. NAS-устройство — это специальный сервер с собственной операционной системой, которая оптимизирована под выполнение операций по записи и чтению данных. Доступ к данным на NAS в большинстве случаев осуществляется по протоколам шаринга CIFS, NFS или SMB.

Развитие технологий и программных компонентов СХД начало стирать границы между SAN и NAS. Такие крупные производители, как NetApp, IBM и другие, давно выпускают СХД с блочным доступом для сетей SAN, но которые поддерживают файловый доступ с помощью встроенных NAS-шлюзов. Администратор такой системы хранения сам выбирает, как предоставить доступ физическим серверам к данным, которые на ней хранятся.

Объектное хранилище не имеет никакой иерархии или структуры, вместо них — плоское адресное пространство. Каждому объекту присваивается уникальный идентификатор, с помощью которого производится извлечение данных по запросу пользователя или клиента.

Такой способ хранения можно сравнить с гардеробом в театре: вы сдаете свое пальто, гардеробщик уносит его и размещает там, где есть свободное место, выдает вам номерок — уникальный идентификатор, по которому вы сможете забрать свою вещь после спектакля. Вам как клиенту неважно, где именно висит пальто, но вы точно знаете, как в любой момент извлечь его обратно.

Объектное хранилище позволяет назначать объектам метаданные и объединять их в контейнеры. Серое шерстяное пальто, вместе с которым вы сдаете черный шарф и вязаную шапку, — пример гардеробного контейнера.

Каждый объект в таком типе хранилища состоит из трех элементов: самих данных, метаданных с описанием, уникального идентификатора.

Варианты использования различных способов хранения данных

Блочные хранилища хорошо себя зарекомендовали для виртуализации и баз данных.Поскольку большую часть нагрузки по обработке данных берет на себя хост-адаптер, ресурсы вычислительной системы могут использоваться для решения остальных задач.

Такие системы имеют высокую стоимость и определенную сложность в настройке, но если говорить о корпоративном использовании или строительстве облачной инфраструктуры, затраты сопоставимы с другими статьями реализации проекта.

В частных или публичных облаках на базе технологий Microsoft или VMware при использовании блочного доступа применяют протоколы FC, FCoE или iSCSI.

«Свойства блочного доступа, как правило, привязаны к транспорту, которым он предоставляется, и файловой системе, которая создана на блочном устройстве. FC обычно выбирают там, где нужен multipathing или отсутствие SPoF, низкие значения latency (например, базы данных). FCoE/iSCSI — там, где не требуется отдельный транспорт (достаточно vLAN’ов или еще одного-двух сетевых линков). В платформах виртуализации диски для виртуальных машин предоставляются в условно-блочном виде с помощью паравиртуализации (PVM), аппаратной виртуализации (HVM) или „эмуляции“ блочного устройства (SATA/SCSI/etc). Гипервизор также может с помощью блочного доступа эксплуатировать data store», — комментирует применение блочного способа хранения Евгений Гаврилов, системный инженер компании «ИТ-ГРАД».

Файловые хранилища применяют для систем локального хранения и архивирования. Их цена ниже, чем у блочных аналогов, а настройка и ввод в эксплуатацию обычно проще и быстрее. Доступ к данным в виде файлов и папок более привычен для пользователя, поиск необходимой информации интуитивно понятен. Однако со временем такая структура может настолько сильно разрастись, что получение нужной информации становится длительным и трудоемким процессом.

Файловый доступ используется облачными провайдерами, когда требуется обеспечить связь между сервером и СХД по сети с использованием протоколов NFS/CIFS. Причем такой доступ может применяться как на самих виртуальных машинах, так и на гипервизорах (например, NFS-сервер выступает backend’ом для data store).

В некоторых случаях использование файлового доступа диктуют производители программного обеспечения баз данных. Например, при работе с Oracle Direct NFS (dNFS) база данных или ее часть должна располагаться на NFS-сервере, а доступ к ней организуется через специальный NFS-клиент. И, напротив, не все приложения, работающие на блочных файловых системах, смогут корректно работать на сетевых (NFS/CIFS) в силу отсутствия ряда механизмов, традиционных для блочных файловых систем и труднореализуемых в сетевых.

Объектные хранилища являются идеальным вариантом для облачных приложений. Они позволяют масштабировать систему хранения до петабайт данных и распределять их между разрозненными узлами, среди которых может быть как локальное хранилище, так и облачный сервер. Это преимущество используют компании, которые работают с быстро растущими объемами данных (Facebook, Google, DropBox), а также такие крупные игроки на рынке публичных облаков, как Azure или Amazon.

Такие хранилища могут содержать встроенные механизмы проверки корректности файлов и защиты данных, а широкая метаинформация о каждом объекте позволяет оптимизировать процесс хранения и минимизировать затраты на него. Объектный тип удобен для размещения файлов (образы VM, просто файлы для дальнейшей работы в формате CDN и других) с целью его получения для чтения в большинстве случаев.

Заключение

При использовании ресурсов облачного провайдера для размещения вычислительных мощностей или хранения данных компания-клиент обозначает задачи, которые необходимо решить для реализации проекта, а строительство инфраструктуры и выбор эффективного решения берет на себя поставщик услуг IaaS.