К 2020 году: 5200 ГБ данных на каждого жителя Земли

Чтобы представить этот объем информации, а 40 зеттабайт это 40 триллионов гигабайт, что оценивается в 57 раз больше, чем сумма всех песчинок на всех пляжах на Земле. Но это еще все: данные, как ожидается, будет удваиваться каждые два года вплоть до 2020 года.

Большинство этих данных не будет производиться людьми, а машинами, так как они общаются друг с другом по сетям передачи данных. Это будет включать в себя, например, датчики и интеллектуальные устройства связи с другими устройствами.

До сих пор, однако, лишь небольшая часть этих данных обрабатывается. IDC считает, что к 2020 году, только 33% всех данных будет содержать информацию, которая может быть ценной, если ее проанализировать.

Цифровая вселенная включает в себя все, начиная от фотографий и видео на мобильном телефоне или загруженом на YouTube, цифровые фильмы высокой четкости, информация от транспондеров, которые делают записи о проезде по шоссе вашего автомобиля. Это также, естественно, включает в себя более традиционные корпоративные данные, такие, как банковские данные, файлы по безопасности в аэропортах, на крупных событиях, таких, как Олимпийские игры, а также траектория субатомных столкновений, записанные на Большом адронном коллайдере в CERN.

Использование бизнес-аналитики для анализа данных может выявить закономерности в использовании социальных СМИ, корреляции в научных данных от дискретных исследований, медицинской информации и пересечение ее с социологическими данными и т.д.

"Это и есть обещанные Большие данные или технологии MapReduce - извлечение значения из большого неиспользуемого бассейна данных в цифровой вселенной ", - отмечает IDC.

Кроме того, данные, которые могут быть добыты, должны быть "помечены" с мета-данными, чтобы придать им контекст. Это будет включать в себя, например, добавление даты видеонаблюдения и геолокационной информации в фото иди видео, которое сделано со смартфона - "в основном, данные, приобретают контекст вокруг даты их создания", - сказал Чак Холлис, глобальный маркетинг технический директор EMC .

"Мы не только идем к тому, чтобы метить больше, но мы будем делать это лучше, чтобы со временем получить ценность от этих данных", - сказал он.

Это открывает поле для растущей карьеры для ученых, которым будет предложено экстраполировать полезную информацию из массивных хранилищ данных, таких, как потребительские тенденции.

Набирает обороты

Исследование Digital Universe, спонсором которого является EMC, впервые был запущено в 2005 году. В течение первых трех лет оно проводилось ежегодно. Это последнее обновление, однако, отмечает 18-месячный лаг между результатами и огромные прогнозные изменения.

Например, последняя версия, выпущенная в июне 2011 года, предсказала, что объем данных, который будет производиться в 2020 году, будет составлять 35 зеттабайт, а не 40 зеттабайт.

Холлис говорит, что новое исследование IDC показало, что для каждого физического или виртуального сервера корпорации, которые есть сегодня, количество данных может увеличиться в 10 раз, по сравнению с тем, что есть сегодня.

"Другой способ смотреть на это, заключается в том, что для каждого терабайта данных, который у вас есть сегодня, объем может вырасти в 14 раз к концу десятилетия", - сказал он. "Но я думаю, что большинство людей, которых я встречаю в мире ИТ уже знают, что это происходит".

Количество серверов (виртуальных и физических) во всем мире вырастет в 10 раз, а количество информации, управляемой непосредственно центрами обработки данных вырастет в 14 раз, показало исследование. Между тем, число ИТ-специалистов будет расти меньше, чем в 1,5 раза.

Холлис, чья компания усиленно продвигает облака и технологии анализа больших данных, сказал, что для того, чтобы управлять этим ростом объемов данных, компании будут вынуждены реструктуризовываться и создавать автоматизированную сервис-ориентированную архитектуру (SOA). SOA позволяет бизнес-единицам выбрать сервер, сетевые и емкости из интернет-каталогов, а затем, в случае отсутствия необходимости, отозвать их.

Повышение эффективности необходимо

Исследование Digital Universe согласилось с оценкой Холлис. ИТ-менеджеры должны найти способы, чтобы достичь большей эффективности их инфраструктур, так что ИТ-администраторы могут сосредоточиться над добавленной стоимостью таких инициатив, как "Bring Your Own устройства" (BYOD), анализ больших данных, эффективность и безопасность.

"Один из способов как это может произойти - через конвергентные инфраструктуры, которые интегрируют хранение, серверы и сети", - говорится в исследовании.

Только в одной области исследования Digital Universe противоречили с существующим мышлением сегодня: большинство данных в будущем будет храниться в облаке.

В то время, как расходы на государственные и частные облачные вычисления составляют менее, чем 5% от общего объема расходов на ИТ сегодня, по оценкам IDC, к 2020 году около 40% информации в цифровой вселенной будут «доступны» в облаках, это означает, что информация будет храниться или обрабатываться в облаке где-то по пути от отправителя. Тем не менее, только 15% данных будут храниться в облаке, сказали в IDC.

Инвестиции в управлении, содержащие, изучения и хранения информации в цифровой вселенной будет только расти на 40% в период между 2012 и 2020 годами. В результате, инвестиции в расчете на гигабайт за тот же период снизится с $ 2 до 20 центов.

Развлечения и социальные медиа

Большая часть информации в цифровой вселенной – это развлечения и социальные медиа. В 2012 году 68% всех созданных данных, были использованы потребителями для просмотра цифрового ТВ, взаимодействия с социальными медиа, фотографий и видео. Тем не менее, предприятия имеют почти 80% информации, размещенной в цифровой вселенной.

В результате, корпорации должны иметь дело с вопросами авторских прав, конфиденциальности и соответствия после обработки.

IDC оценивает, что приблизительно одна треть всех данных требует некоторого типа защиты, либо для защиты неприкосновенности личной жизни, либо придерживаться правил или предотвратить отслеживание или кражу. Однако, в настоящее время лишь около 20% данных теперь имеют такую защиту. Уровень безопасности варьируется в зависимости от региона, с гораздо меньшим уровнем защиты на развивающихся рынках, которые включают в себя такие страны, как Бразилия, Россия, Индия, Малайзия, Объединенные Арабские Эмираты.

Кроме того, в развивающихся странах рынок будет идти по пути создания все больше и больше массы данных, - сказал IDC. В 2005 году, например, 48% данных цифровой вселенной пришли из США и Западной Европы. На развивающиеся рынки приходилось менее 20%. Тем не менее, доля данных связаных с развивающимися рынками, в настоящее время достигла 36% и составит 62% к 2020 году. К тому времени, только один Китай будет генерировать 21% информации в цифровой вселенной.

Кроме того, исследование показало:

Сеть приобретает все большее значение. Задержки должны становиться короче. Сетевая инфраструктура будет одним из ключевых инвестиций в течение следующих восьми лет.

Правила, регулирующие информационную безопасность должны быть согласованы по всему миру, хотя различия останутся. ИТ-менеджеры должны понимать, что данные будут запрошены за пределами географических границ, и глобальные правила информационной безопасности могут отличаться.