Если вы давно занимаетесь сферой ИТ, то наверняка помните, когда высокопроизводительные вычисления (HPC или high-performance computing) казались прерогативой только исследовательских институтов, лабораторий и правительственных агентств. Если взять мировой масштаб, то с конца 80-х годов прошлого века стали разрабатываться технологии, которые и послужили причиной дальнейшего научного прогресса. Сегодня мы можем собирать огромные объемы данных, и для их анализа требуется весьма существенная вычислительная производительность.
В этом посте мы рассмотрим, почему высокопроизводительные вычисления (HPC) являются отличным средством цифровой трансформации. Подобная трансформация необходима компаниям и правительственным учреждениям, чтобы не остаться в аутсайдерах цифрового мира. Топливом для трансформации служат данные. Следовательно, нам нужно найти данные, которые можно будет использовать для трансформации. Интеллектуальные технологии сбора и обработки данных с помощью систем высокопроизводительных вычислений и искусственного интеллекта как раз обуславливают разницу между простой обработкой цифровых данных и реальной трансформацией. Все это партнер Seagate, компания World Wide Technology, объединяет под парадигмой конвергентных вычислений (fusion computing).
Основой для инфраструктуры конвергентных вычислений являются архитектуры высокопроизводительных вычислений (HPC), искусственный интеллект и большие данные. Обработка данных на основе искусственного интеллекта и высокопроизводительные вычисления чаще всего применяют схожие рабочие процессы с интенсивным использованием данных и вычислений, поэтому их конвергенция вполне логична. Упомянутая высокопроизводительная архитектура HPC + AI + Big Data продолжает эволюционировать, чтобы соответствовать меняющимся требованиям бизнеса и правительственных учреждений. Развитие здесь можно сравнить с эволюцией моделей бизнеса и безопасности данных на основе облака (публичное, частное, гибридное).
Конвергентные вычисления опираются на следующие тезисы:
Открытая высокопроизводительная архитектура обеспечивает гибкость, ускоренное внедрение инноваций и своевременность закупок;
Данные — новая нефть, их становится еще легче использовать в основных рабочих процессах;
Инфраструктура обеспечивает полностью оркестрованный, расширяемый и отслеживаемый опыт использования;
Облако HPC обеспечивает экономику «как услуга» для бизнеса и правительственных учреждений.
Эволюция HPC
Помните ли вы времена, когда мейнфреймы назывались движущей силой прогресса? Высокопроизводительные вычисления эволюционировали с годами, корни HPC действительно находятся в мейнфреймах. Эволюцию можно разделить на несколько фаз:
1970-е годы: мейнфрейм с разделением времени
1980-е годы: распределенные вычисления
1990-е годы: параллельные вычисления
Рост потребности в централизованных высокопроизводительных вычислениях
Рост потребности в централизованных высокопроизводительных вычислениях с защитой данных
Публичное, частное и гибридное облако высокопроизводительных вычислений
Здесь стоит процитировать роман «Парень из Колорадо» Стивена Кинга: «Рано или поздно все старое становится новым.» Что верно для HPC и суперкомпьютеров.
За последние десятилетия ландшафт HPC много раз менялся. Производители, системы и архитектуры появлялись и исчезали. Скорее всего, подобная быстрая смена ландшафта сохранится, если не ускорится. Единственное, что можно сказать точно: спрос на вычисления и данные останется.
Что следует знать бизнесу о HPC?
Высокопроизводительные вычисления позволяют обрабатывать данные и выполнять сложные вычисления на высокой скорости и в плотных конфигурациях. HPC опирается на параллельную обработку, что повышает эффективность работы приложений, скорость и надежность. Благодаря HPC мы получаем открытия в науке, промышленности, экономике, финансах, общественных институтах, медицине, обороне и безопасности.
HPC используются в промышленности для улучшения продуктов, снижения затрат, уменьшения времени на разработку новых решений. По мере того, как объемы собираемых больших данных растут, увеличивается потребность в их анализе и обработке. И здесь высокопроизводительные вычисления HPC окажутся как нельзя кстати.
Исторически суперкомпьютеры и кластеры были ориентированы на высокопроизводительные вычисления, связанные с решением глобальных научных проблем, стоящих перед человечеством.
Так сформировался вычислительный профиль HPC, подразумевающий выполнение интенсивных вычислений за минимальное время. Многие вычисления разбиваются на несколько параллельных задач, но для обмена данными здесь требуется сетевая инфраструктура с низкими задержками. Для оценки вычислительной производительности HPC используют количество выполняемых операций с плавающей запятой в секунду (FLOPS), причем современные суперкомпьютеры достигли уровня PetaFLOPS и нацеливаются на уровень экзафлопсов (EFLOPS).
Intel планирует вместе с Министерством энергетики США построить первый экзафлопный суперкомпьютер Aurora около Чикаго. Система будет работать в Аргоннской национальной лаборатории. Интересно здесь то, что все компоненты суперкомпьютера изготовлены Intel. Что верно для процессоров (4-е поколение Xeon Scalable, Sapphire Rapids) и ускорителей GPU (Ponte Vecchio, Xe-HPC). Будет использоваться Intel Optane DC Persistent Memory.
Данные в бизнесе накапливаются намного быстрее, чем ожидалось ранее. Будь то интернет вещей (IoT), веб-страницы, коммерческие транзакции или другие источники: потоки данных, которые льются на корпоративные дата-центры, превышают возможности хранения. Что заставляет искать новые подходы к консолидации и обработке данных. Причем данные нельзя просто оставить, как есть, то есть воспользоваться принципом «храни и игнорируй». Необходимо принимать решения о том, какие данные хранить, а какие следует перемещать. Какие данные анализировать и для каких задач, какие данные нужно отложить в архив для будущего использования.
Данные — новая нефть
В прошлом бизнес часто использовал упомянутый принцип «храни и игнорируй». Но сегодня данные превратились в новую нефть, они являются топливом для инноваций, повышения конкурентоспособности и успеха бизнеса. То есть данные для бизнеса представляют такую же ценность, как для ученого или исследователя.
Поэтому многим организациям нужны ИТ-решения, сочетающие высокопроизводительные вычисления с анализом данных. Что смещает баланс от чистых вычислительных систем на высокопроизводительный анализ данных. Подобная конвергенция приводит к появлению новых решений не только в науке и исследованиях, но также в коммерции, в сфере обработки информации, системах поддержки принятия решений, финансового анализа, видеонаблюдения в рознице, майнинга данных.
Алгоритмы интенсивной обработки данных оперируют с крупными базами данных, содержащими массивные объемы информации (например, о клиентах компании или результатах торгов на бирже). Эти базы могут накапливаться многие годы, но игнорировать их больше нельзя. Быстрый рост хранимых объемов данных неизбежно приводит к необходимости использовать HPC.
В результате мы получаем большое количество приложений, работающих на высокопроизводительных архитектурах, способных обрабатывать большие объемы данных. Чтобы можно было управлять большими объемами разнообразных данных, были разработаны специальные инструменты и библиотеки, визуализирующие результаты расчетов суперкомпьютера. Причем для вывода данных в визуально понятном виде после моделирования и симуляции могут потребоваться ресурсы суперкомпьютера. Здесь продолжается процесс конвергенции HPC, AI/ML/DL и больших данных. Поэтому требуется новая гибкая и открытая высокопроизводительная архитектура и экосистема конвергентных вычислений.
Бизнес и наука
В 2018 году Министерство энергетики США провозгласило, что будущее — за суперкомпьютерами. В ближайшие годы будут построены самые быстрые суперкомпьютеры на планете класса экзафлопса. Новые суперкомпьютеры в сегментах медицины и здоровья, науки и исследований позволят человечеству найти решение многих существующих проблем и улучшить благополучие общества.
Важным аспектом любой науки является прикладное значение. Только бизнес, осваивающий научные знания, может выходить из кризисов или критических ситуаций, которые случаются постоянно. Использование научных знаний бизнесом положительно влияет на эффективность принятия решений, в том числе и в государственном секторе. Высокопроизводительные вычисления и искусственный интеллект позволили построить механизм для принятия решений на основе данных.
Национальная академия наук США (NASEM) отводит для бизнеса следующую роль:
Демократическое общество зависит от науки, чтобы выходить из различных кризисов (экономических, социальных, экологических, здоровья)
В ближайшей перспективе перед политиками и обществом встанет проблема принятия решений уже сегодня, которые должны улучшить положение в неизвестном будущем
Государственным и частным секторам следует определять потенциальные возможности для науки и использовать результаты для интеграции в прикладные и фундаментальные исследования
Открытая высокопроизводительная архитектура и конвергентные вычисления обеспечат для бизнеса и правительственных учреждений цифровую гибкость и инновации. Они, как янь и инь, являются ключевыми факторами успеха.
Модель гибридного облака добавляет свои важные преимущества и ресурсы емкости, локальные и внешние, которые позволяют создать защищенное и производительное окружение с возможностями масштабирования. Конвергентные вычисления идеально подходят для соответствия требованиям безопасности, облака и производительности.
Вычисления будут еще более мощными и персональными
Со временем суперкомпьютеры будут становиться все компактнее, требуя меньшей физической инфраструктуры для охлаждения, также и энергопотребление будет снижаться по сравнению с нынешними системами.
Чтобы получить подобные преимущества, следует вернуться к истокам дизайна и инженерии. Успешный дизайн суперкомпьютера должен подразумевать модульность и гибкость конфигурации. Распределение и компоновка — вот основы основ нового дизайна.
Персонализация подразумевает оптимизацию сервиса или продукта под нужды пользователя или бизнеса, сегодня данная тенденция носит уже глобальный характер. Цифровая трансформация позволяет производителям суперкомпьютеров и системным интеграторам обеспечить персонализацию и гибкость, характерную для производства на заказ, но в большем масштабе.
Компоновка на открытых стандартах продолжает совершенствоваться, сегодня она применяется на всех уровнях публичных и частных облаков, а также в моделях инфраструктуры как услуги (IaaS). В результате буквально на кончиках пальцев доступна просто гигантская производительность суперкомпьютеров, ее можно использовать для развертывания и выполнения различных бизнес-процессов. Персонализированные суперкомпьютеры помогут сосредоточиться на задачах вашего бизнеса, целях исследований, сценариях использования и других возможностях, базирующихся на обработке данных.
Совокупная, масштабируемая и безопасная парадигма вычислений
Описанные выше тенденции приводят к совокупной, масштабируемой и безопасной парадигме вычислений. А именно конвергенции высокопроизводительных вычислений, искусственного интеллекта и больших данных. Термин конвергенции нельзя назвать новым, его используют многие годы. Однако новым здесь является добавление к парадигме периферийных вычислений (edge) и интернета вещей (IoT/IIoT). Фундаментом для построения конвергентных вычислений является открытая высокопроизводительная архитектура.
Конечно, для глобального, гибкого и готового к работе с облаком предприятия будут возникать проблемы и разочарования из-за специализированных подходов, использующихся в новой конвергентной вычислительной парадигме (здесь стоит отметить HPC, Big Data/HPDA, AI/ML/DL, Edge, IoT/IIoT). Компания World Wide Technology (WWT), партнер Seagate унифицирует сложный мир вычислений с разнообразными, растущими и часто конкурирующими потребностями с помощью конвергентных вычислений. WWT определила новую категорию решений на основе конвергентных вычислений, представляя унифицированную архитектуру для совмещения экосистем на периферии, в ядре и в облаке. Конечно, при реализованной на всех этапах безопасности и защите.
WWT вместе с партнерами создала эталонную архитектуру, которая показывает, как конкурентоспособный бизнес должен взаимодействовать с технологиями, процессами, бизнес-моделями и людьми. Конвергентные вычисления — это не просто дорожная карта. Здесь подразумевается компоновка сбалансированной и открытой архитектуры и дизайна, функционирование всей корпоративной экосистемы вычислений, данных, сетей, приложений и безопасности. Высокопроизводительная архитектура обладает самоуправляемыми характеристиками на основе распределенных вычислительных ресурсов, что позволяет адаптировать ее к непредсказуемым изменениям, а также скрывать сложность от менеджеров, операторов и пользователей. В итоге автономные вычисления начинают приносить прибыль при снижении совокупной стоимости владения.
Инструменты и технологии для конвергентных вычислений стремительно развиваются. Что еще лучше, платформы больших данных и высокопроизводительные вычисления объединяются таким образом, чтобы уменьшить перенос данных между средами высокопроизводительных вычислений и средами хранения. Подобная конвергенция позволяет организовать данные и избежать больших накладных расходов и задержек, которые возникают при использовании разнородных систем.
Сегодня организации могут выбирать из быстро растущего списка инструментов и технологий, таких как потоковая аналитика, аналитика графов, исследовательский анализ данных в открытых высокопроизводительных окружениях. Позвольте вкратце рассмотреть эти инструменты.
Потоковая аналитика предлагает новые алгоритмы и подходы, помогающие организациям быстро анализировать потоковые данные с высокой пропускной способностью. Данный инструмент позволяет анализировать появляющиеся графические паттерны, синтезировать данные и сжимать их, выполнять масштабный анализ сетей.
Технологии аналитики графов позволяют моделировать, визуализировать и оценивать графы для понимания больших и сложных сетей. Среди сфер применения можно отметить семантический анализ данных, визуализацию больших данных, подготовку массивов данных для исследований методом аналитики графов, аналитику на основе действий, анализ производительности инструментов больших данных графов, обнаружение нетипичных и скрытых аномалий.
Исследовательский анализ данных предоставляет механизмы для анализа и изучения источников массивных потоковых данных, чтобы получить новую информацию и обосновать решения. Среди сфер применения отметим исследовательский анализ графов, параллельную симуляцию с географической привязкой (GiPC), кибер-аналитику данных.
Это лишь некоторые из бесчисленных достижений, которые стали возможным благодаря развитию технологий и решений для высокопроизводительного анализа данных. Дополнительные подробности о конвергентных вычислениях можно узнать на сайте WWT.
