Как понять, что пришло время внедрять платформу для анализа данных?

Эффективные управленческие решения основаны на качественной аналитике данных. Но информации становится больше, а ее анализ — труднее. Всё чаще на помощь компаниям приходит прогнозная или предиктивная аналитика, позволяющая справиться с экспоненциальным ростом информации благодаря использованию методов машинного обучения.

Внедрение таких инструментов при работе с данными — ресурсоемкий, но необходимый процесс, требующий решения нескольких ключевых проблем:

• отсутствие необходимой инфраструктуры

• низкое качество исходных данных

• недостаток высококвалифицированных специалистов.

Справиться с этими проблемами помогут платформенные решения, охватывающие весь жизненный цикл data science проектов: от идеи и исследования данных до построения, развертывания и применения аналитических моделей для решения бизнес-задач.

В этой статье мы рассмотрим предпосылки и признаки необходимости внедрения платформенных решений, а также укажем на аспекты, о которых надо помнить перед или при внедрении системы.

Платформа по анализу данных

Платформа для обработки больших данных — это решение, которое объединяет различные инструменты по обработке, хранению и использованию данных. Оно позволяет использовать результаты анализа данных в операционной деятельности компании. Это может быть реализовано в виде API предиктивной модели, к которой обращаются другие системы, веб-приложений, которыми могут пользоваться сотрудники, или в виде ежедневных отчетов, отправляемых на почту. 

Кому необходима платформа по анализу данных

Платформа упрощает работу дата-сайентистов, дата-инженеров, бизнес-аналитиков, разработчиков приложений и специалистов по машинному обучению. Она позволяет снизить рутинные и непрофильные активности и сконцентрироваться на решении более сложных задач.

В то же время неподготовленные бизнес-пользователи могут легко работать с результатами анализа через простой и понятный интерфейс, повышая свою самостоятельность и компетентность.

При этом бизнес получает универсальный инструмент с широкими возможностями, позволяющий проводить любые виды анализа — от ретроспективного до стратегического предиктивного с построением моделей проверки гипотез по принципу «что будет, если …?». Это значительно упрощает процесс принятия управленческих решений и трансформации бизнес-процессов.

Какие задачи решает платформа по анализу данных

Платформы могут использовать как системные интеграторы, так и компании, в штате которых есть специалисты по обработке данных и аналитике. Как правило, главная цель внедрений — выйти на новый уровень работы с данными, используя машинное обучение. Для того, чтобы внедрение было успешным, и максимальное число проектов доходило до стадии производства и масштабирования, платформа должна:

•‎ бесшовно встраиваться в существующий IT-ландшафт:

- гибко и бесшовно интегрировать разработанные модели и инструменты в ИТ-ландшафт, технологические и бизнес-процессы;

- масштабироваться, подключая новые подразделения или конкретные единицы оборудования;

- гибко потреблять и управлять потребляемыми ресурсами IT-инфраструктуры;

- обеспечивать необходимую производительность для работы в режиме реального времени и меняющихся условиях;

•‎ упрощать и ускорять работу с данными всех сотрудников компании:

- давать возможность быстро и дешево проводить пилотные и PoC -проекты;

- объединять данные из различных источников, обрабатывать, очищать и фильтровать их;

- делиться понятными, читаемыми результатами анализа и моделями с сотрудниками всех подразделений;

- создавать общую базу знаний и собирать лучшие практики, на которых будут учиться новые сотрудники;

- быть доступной специалистам без большого опыта или специальных навыков;

•‎ удовлетворять требованиям информационной безопасности и политике разграничения доступа.

Предпосылки внедрения платформенных решений

Источники данных

Чем крупнее и старше компания, тем сильнее её IT-структура представляет из себя разрозненный набор источников данных разногообъёма и формата. Компания может использовать производственные решения (АСУТП/SCADA, АСКУЭ, MES, WMS, EAM и т.д.) или только решения для бизнеса и функционирования организации (CRM, HRM, ERP корпоративная почта, мессенджеры и т.д.), а также может использовать всё вместе.

К этой сложной системе получения, обработки и хранения информации добавляются данные различных встреч и мероприятий, аналитические отчеты и другие данные, которые никак не оцифровываются, но при этом являются не менее важным источником информации при принятии решений.

Попытки анализа одних данных в связке с другими сопровождаются значительными сложностями и непрогнозируемым сдвигом сроков проектов.

Несмотря на то, что каждый из источников по отдельности может нести пользу использующему его отделу или департаменту, только объединение всех источников «под одной крышей» позволяет увидеть и рассмотреть ситуацию комплексно.

Работа с источниками данных

Снежный ком из IT-систем нарастает постепенно. Ниже мы вкратце рассмотрим этапыего создания. Если перед вами стоит задача объединения источников данных, или вы уже над ней работаете, то можете сразуперейти к разделу «Предиктивный анализ». Если же всё это вам только предстоит, или вы хотите окунуться в ностальгию по славным временам, текст ниже для вас.

Описательный, причинный и разведочный анализы

На этапе становления бизнеса IT-систем единицы. Бизнес управляется и мониторится в ручном режиме. Данных не так много, и их легко отслеживать малыми силами. 

Постепенно фокус внимания бизнеса с текущих показателей смещается на причины достижения этих показателей, а также на методы их улучшения. Ответы всё ещё можно получить ручным трудом, но глубинный анализ уже требует автоматизации. Отделы «обрастают» специализированными решениями (скорее всего, от разных вендоров).

В компании начинает расти «-зоопарк», который потребляет ресурсы и зачастую требует специализированных знаний для его обслуживания. Затраты растут, информации на единицу сотрудника становится больше, но его эффективность при этом снижается. Вдобавок каждая система формирует уникальные отчеты, и требуются отдельные усилия на объединение данных в общую картину. В итоге процессы начинают «барахлить», и слаженность работы в компании начинает незримо снижаться.

Предиктивный анализ

1. Начало

Стратегическое планирование часто предполагает ответы на вопросы «где с учетом всех внешних и внутренних обстоятельств мы будем завтра?». Например, «какой будет спрос на продукцию?», «сколько товара необходимо реализовать для достижения целевых показателей выручки?», «исправно ли оборудование, и когда более оптимально его обслужить?». Найти ответы на эти вопросы позволяют передовые инструменты цифровизации — машинное обучение, нейросети, предиктивная аналитика.

На первых этапах внедрения предиктивной аналитики, как правило, используются open source решения — частично или целиком. Они простые и бесплатные, при этом решают локальную бизнес-задачу, которую сложно масштабировать на всю компанию.

На этапе проверки гипотез и поиска чрезвычайно важно показать результат. Неудача тут — нормальная ситуация. Но бизнес, который только присматривается к эффективности подобных решений, в случае провала может отказаться от дальнейших попыток использовать машинное обучение.

Чтобы повысить шансы на успех, проектным командам уже на этом этапе необходимо иметь представление о существующих коммерческих решениях на рынке, изучить лучшие отраслевые и проектные практики. Как правило, коммерческие решения даже в минимальной комплектации имеют набор инструментов, позволяющий обойти "детские болезни", а проектные команды вендоров с радостью делятся наработанным опытом.

2. Накопление компетенций

По мере накопления компетенций запросы и задачи усложняются, методы решения становятся все более передовыми и уникальными, появляются первые сценарии работы с данными для принятия управленческих решений. Компания уверенно встает на путь data driven и начинает видеть выгоду в дальнейшем использовании и развитии этих инструментов.

С ростом количества проектов растет объем задач, которые лежат уже в инженерной плоскости, а не в аналитической (интеграция, безопасность, пользователи, управление правами, мониторинг работоспособности), и стремительно растут трудозатраты на эти задачи. При этом «зоопарк» продолжает расти, а коммуникация между отделами становится все хуже.

3. Масштабирование

Подразделения, отвечающие за IT и цифровизацию, сталкиваются с проблемой: как обработать растущий поток данных, удовлетворить все потребности в машинном обучении и проконтролировать экспоненциальный рост «зоопарка»?

Возникает идея объединить все IT-решения под одной крышей, создать IT-платформу по анализу данных и единое информационное пространство. Но это большой, ресурсоемкий проект. Как понять, что уже пора? 

Признаки необходимости внедрения платформы

•‎ Отсутствие прозрачности в процессах и данных.

IT-систем много, сотрудники тратят значительную часть времени на обработку и связывание данных из разных систем в единую картину. При этом ценность данных в компании не очевидна.

•‎ Рост затрат на техническое обслуживание ПО.

Приложений всё больше, каждое требует отдельного договора на обслуживание, подразделения запрашивают доработки и добавления новых функций, что дополнительно сказывается на бюджете.

•‎ Трудности масштабирования.

Разработанные приложения с трудом внедряются в разные направления бизнеса, или возникают проблемы с вычислительными ресурсами на разных этапах обработки данных.

•‎ Отсутствие сквозных сценариев.

Существующие процессы давно устарели, регламенты необходимо менять, скорость и качество взаимодействия подразделений не соответствуют уровню развития бизнеса.

•‎ Проблемы с коммуникацией в команде.

Знания и компетенции есть, но они хранятся в головах или на личных компьютерах. Процессы непонятны для новых сотрудников, а прозрачность вызывает вопросы даже у «старожилов».

•‎ Несоответствие требованиям регламентов по безопасности.

- Безопасность хранения/использования данных. Несмотря на регламенты хранения данных, информация находится в различных, в том числе небезопасных местах. Или ее количество требует расширения хранилищ, но возможности ограничены.

- Безопасность ПО. Предлагаемое на рынке open source или самописное ПО не отвечает требованиям безопасности из-за широкого использования кода из публичных библиотек или может управляться из-за пределов контура компании.

•‎ IT-стек перегружен неуниверсальными, дублирующими или невостребованными системами.

Применяемые в компании решения тормозят бизнес-процессы, возможно, устарели или негативно влияют на достижение бизнес-целей компании и неоправданно увеличивают расходную часть бюджета.

Что нужно помнить при внедрении платформы

Если в одном из этих пунктов вы узнали себя, значит, вашей компании пора задуматься о внедрении платформы. А если обнаружили совпадение в двух и более пунктах, значит, пора внедрять. 

Несмотря на масштаб задачи и широкие возможности продукта, процессы подготовки к внедрению, отбора и самого внедрения платформенных решений уже хорошо отлажены и во многом похожи на процессы при работе с другими IT-решениями:

• Аудит существующих IT-решений в компании. Без проведения аудита, создания перечня существующих решений, прав доступа, мест хранения информации будет сложно провести безболезненное внедрение, что существенно замедлит и усложнит процесс.

• Аудит данных и стратегии управления данными. Необходимо инвентаризировать все данные, находящиеся в организации, вне зависимости от способа их хранения, определить владельцев, права доступа и ответственных за работу с ними лиц. Наилучшим решением будет создать, если еще не существует, стратегию управления данными, которая систематизирует подходы к работе с данными и заложит основы для дальнейшего развития data-driven бизнеса.

• Согласование внедрения со стратегическими инициативами компании. На этом этапе нужно определиться с целями внедрения системы и показателями, которых вы хотите достичь благодаря её использованию — что платформа должна улучшить и оптимизировать?

• Изучение предметной области и формирование внутренней экспертизы. Перед внедрением необходимо накопить внутренние компетенции и понять, какой продукт вы собираетесь внедрять, какие знания вы хотите оцифровать, и какой из продуктов лучше себя зарекомендовал в вашей отрасли.

• Изучение рынка специалистов. Как было сказано выше, вам потребуются высококвалифицированные специалисты с соответствующим уровнем оплаты труда. При формировании требований к решению, в оценку стоимости проекта необходимо будет заложить и эти данные.

• Формирование первичных требований к решению. Необходимо заблаговременно, до внедрения определить, какое решение вы хотите получить: какие задачи оно должно решать, какие вам требуются инструменты, есть ли какие-то системные ограничения помимо бюджета проекта. ем больше параметров, тем лучше. При этом важно не перестараться, иначе окажется, что такого решения еще не придумали.

• Изучение референсов. Изучите отраслевой опыт или, если вы первопроходцы, опыт схожего по масштабу и направлению деятельности бизнеса. Какие задачи решались, насколько успешно и в какие сроки их удалось решить, как проходило внедрение, какие ошибки были допущены или что помогло внедрить платформу быстрее.

• Формирование технического задания внедрения.
  Следствие формирования первичных требований к решению. Крайне важно четко сформулировать цели и задачи внедрения, вопросы, которые ставятся перед командой внедрения, определить достаточность и доступность данных для решения задачи. Соответственно, и ожидаемые результаты должны быть прозрачными, понятными, измеримыми и интерпретируемыми. Чем точнее вы сформулируете ваши требования к решению, тем быстрее и без неожиданностей пройдет процесс внедрения — как для вас, так и для команды внедрения. 

Идеальной платформы не существует: каждая идеальна настолько, насколько она подходит нуждам именно вашего бизнеса. И именно вы, а не вендор или интегратор решений, определяете, насколько успешно платформа проявит себя в организации и позволит достичь поставленных целей. Верим, что эта статья ответила на часть ваших вопросов, развеяла определённые мифы и приблизила вас к внедрению data driven подхода в компании.