Ученые предупреждают, что мир движется к глобальному кризису хранения данных. Ожидается, что к 2025 году объем данных в мире увеличится на 300 процентов, и для всей этой информации уже начнет не хватать места. Несмотря на быстрое расширение AWS, GCP и Azure, облака не смогут разместить весь этот «умопомрачительный объем».
Такое предупреждение дают ученые из Астонского университета, которые изо всех сил пытаются разработать план, не предусматривающий паническое строительство дополнительных серверов, которые уже сейчас каждый год требуют около 1,5% мировой электроэнергии.
Чтобы как-то решить этот вопрос, команда пытается создать новую технологию для производства поверхностей с каналами шириной менее 5 нм. Это примерно в десять тысяч раз меньше ширины человеческого волоса. Что позволит создавать более энергоэффективные конструкции. Другой вариант — системы хранения данных на основе ДНК.
Профессор Мэтт Дерри, возглавляющий проект, пишет на сайте университета: «Простое строительство новых ЦОДов без улучшения технологий хранения информации не является жизнеспособным решением. Это может только немного отсрочить проблему».
«Мы все чаще сталкиваемся с риском так называемого кризиса хранения данных, и миру остро нужны улучшенные решения для хранения информации, которые занимали бы меньше места и требовали меньше энергоресурсов».
Согласно докладу Международной корпорации данных (IDC), «следствием растущей зависимости от данных будет бесконечное, неограниченное увеличение размера глобальной сферы данных, к которому нужно готовиться». Загрузить доклад можно здесь (осторожно, скачивается pdf!).
В этом докладе, в частности, говорится о том, что мировой объем хранимых данных в 2019 году составлял 45 зеттабайт, но к 2025 году он увеличится до 175 зеттабайт. Это увеличение более чем в три раза. Один зеттабайт равен триллиону гигабайт. Для его хранения требуется 240 млн 4-терабайтных жестких дисков. Это 152 тысячи тонн чистого веса металла, не говоря уже обо всем остальном.
«Если бы вы могли хранить все глобальные данные на DVD, у вас была бы стопка дисков Blu-ray, которая могла бы доставить вас до Луны 23 раза или облететь Землю 222 раза», — говорится в отчете IDC. И эта информация скоро утроится.
Резкий рост объема данных неизбежен, и Дерри и его команда, как и десятки тысяч других ученых, надеются найти решение до того, как время истечет.
Кумар Саркар, который недавно присоединился к команде Астонского университета, пишет там, что «мы будем использовать передовую химию полимеров в качестве способа концентрации данных. Увеличения их объема, располагаемого в кубическом сантиметре носителей. У нас сейчас остается только этот путь: повышение эффективности существующих технологий. Это позволит снизить потребность бизнеса и потребителей в очень дорогом и наносящем ущерб окружающей среде оборудовании. Позволит строить меньше новых мегацентров обработки данных».
Ученый добавляет, что «следующие 3 года для нас станут решающими». Если не найти способ хранить и обрабатывать данные эффективнее, цены на серверы будут неизбежно расти. В результате многие продукты, которые могли бы найти свою аудиторию и приносить пользу, станут неприбыльными и начнут банкротиться.
В 2010 году по всему миру было создано и реплицировано всего 2 ЗБ данных. Но это было всего через три года после того, как Apple выпустила свой первый iPhone, и всего через год после выхода смартфонов Samsung на рынок. А эти два устройства, вероятно, положили начало тем темпам роста объемов данных, которые мы наблюдаем сегодня. Неожиданно каждый мог снимать видео, где бы он ни находился. И люди могли просматривать это видео, где бы ни находились они. Один TikTok, с его 2,6 млрд установок, «потребляет» десятки петабайт данных ежегодно. А Ютуб обрабатывает и сохраняет около 500-700 петабайт в год.
Данные показывают особенно резкий скачок между 2019 и 2020 годами. С 41 ЗБ (зеттабайт) до 64,2 ЗБ. Произошло это в частности из-за того, что люди стали больше работать с личных устройств в условиях пандемии и ещё сильнее начали полагаться на интернет для своего развлечения.
IDC разбивает хранилища данных на три категории:
конечные точки;
периферийные устройства;
ядро.
В конечных точках находятся разные устройства вне сети, такие как смартфоны, ноутбуки, IoT и носимые устройства. К периферии относятся серверы в офисах, шлюзы и сотовые вышки. В ядре находятся ЦОДы предприятий и облачных провайдеров, где выполняется большая часть обработки и аналитики данных.
Во всей этой структуре, устроенной как слои лука, есть определенный порядок. Сначала необработанные данные передаются от конечных точек к периферии для анализа, а затем транспортируются в ядро для дальнейшего анализа и долгосрочного хранения.
IDC прогнозирует, что к 2025 году 80 % глобальных данных будут неструктурированными. Вместо того чтобы храниться в фиксированных, конкретных местах, где можно их контролировать и управлять ими, они будут буквально повсюду, перетекая из одного состояния в другое, из одного сервиса в следующий.
Международная корпорация данных также прогнозирует, что объем информации, собираемой на периферии, в том числе с помощью различных IoT и сенсорных устройств, будет увеличиваться на 33% в год. В итоге, как сообщает Seagate в своем отчете Rethink Data, к 2025 году почти 80% данных будут храниться в периферийных устройствах и в ядре.
Влияние конечных точек постепенно будет снижаться: многим пользователям теперь достаточно и хромбуков почти без собственной памяти, а коллекции музыки и видео всё чаще хранят не на своих жестких дисках, а в аккаунтах на онлайн-сервисах. Что помогает немного снизить потребность в новых хранилищах и переносит ещё больший вес сферы данных в ядро.
К 2025 году на периферию придется 22% от глобальной сферы данных. То есть у конечных пользователей будет храниться всего около пятой части от общего объема информации.
IDC прогнозирует, что 12,6 зеттабайта будут храниться в предприятиях — на жестких дисках, в флэш-памяти, лентах и компакт-дисках. А облачные провайдеры будут управлять 74% емкости. Для сравнения, сейчас в облаке хранится около 60% данных, а в 2015-м было только 30%.
