Прежде чем перейти к статье, хочу вам представить, экономическую онлайн игру Brave Knights, в которой вы можете играть и зарабатывать. Регистируйтесь, играйте и зарабатывайте!
Введение
Текущая промышленная тенденция в отношении автоматизации и промышленных предприятий ведет нас к все более и более сложным системам. В свою очередь простой системы может приводить к огромным финансовым потерям. В некоторых случаях поломка одной детали может привести к разрушению целой системы без возможности восстановления. В связи с этим возникает необходимость разработки Обнаружения и Диагностики Неисправностей (ОДН), которая может предотвратить и локализовать неисправности, при этом повышается производительность систем. Диагностика заключается в обнаружении ненормального функционирования по данным датчиков. Обычно данные от датчиков бывают сильно зашумленными или поврежденными, с шумами сети передачи данных, соответственно алгоритмы ОДН также должны быть устойчивы к выбросам.
Давайте рассмотрим методы ОДН, Рис. 1. Методы ОДН : подходы, которые используют аналитическую физическую модель системы и подходы, полагающиеся только на системные наблюдения. Использование методов диагностики с моделями кажется трудным и дорогостоящим из-за менее удовлетворительных характеристик. Кроме того, существует несколько промышленных приложений, в которых модель трудно или невозможно получить из-за повышенной сложности или нескольких конфигураций, задействованных в производственном процессе.
Рис. 1. Методы ОДН
Описание проблемы
В ОДН основной трудно решаемой задачей является установка порога, который определяет неисправности. В случае установки низкого порога обнаружения, система будет генерировать достаточно много ложных тревог. При ложной тревоге отправляется обслуживающий персонал или организуется не плановая замена частей системы, а в совокупности определенные ложные тревоги приведут к огромным затратам. С другой стороны, установка очень высокого порога обнаружения может привести к риску не обнаружения неисправности и привести к остановке производства. Также неисправность системы может повлияет на жизнь и здоровье людей, что крайне не допускается. Поэтому следует учитывать множество неопределенностей: неопределенности, связанные с отсутствием знаний о процессе, неточности данных в датчиках, которые могут содержать шум или отсутствовать данные, связанные с погрешностями неправильной обработки.
В наши дни система становится очень сложной и бывает сложно определить аналитическую модель системы, а модели машинного обучения (ML) справляются с этой задачей достаточно неплохо. Сформировались некоторые требования ML-моделей, такие как: необходимость качественных данных (отсутствующие или зашумленные данные), возможность рассмотреть несколько типов переменных (дискретных или непрерывных), способ учесть время для динамической системы и способность обобщить, чтобы модель могла найти решение с новым наблюдением. Но кроме этих требований есть производственный момент, при котором руководство хочет модели, которые были бы объяснениями, а не черным ящиком. Дальше мы посмотрим ML алгоритмы для ОДН.
Подходы к машинному обучению
Применение IoT-систем во всех областях создает огромное количество данных. Кроме того, эти системы становятся все более и более сложными, и трудно запустить аналитическую модель с хорошими результатами. Использование моделей ML становится очевидным и логичным решением для диагностирования этих систем.
Цель данной статьи — мы хотим показать несколько методов машинного обучения для ОДН. Мы рассмотрим популярные методы машинного обучения в ОДН, такие как метод опорных векторов (англ. SVM, support vector machine), искусственная нейронная сеть (ИНС), нечеткая нейронная сеть (англ. FNN, fuzzy neural network), деревья решений, Байесовская сеть доверия (англ. BNN, bayesian belief network).
Метод опорных векторов
Метод опорных векторов показывает хорошие результаты относительно других алгоритмов с небольшим объемом обучающих данных, также применяется при отказе аналоговой цепи диагностика с использованием вейвлет-преобразования в качестве препроцессора с высокой точностью классификации. Это один из наиболее популярных методов обучения, который применяется для решения задач классификации и регрессии.
Основная идея метода заключается в построении гиперплоскости, разделяющей объекты выборки оптимальным способом. Алгоритм работает с тем предположением, что чем больше расстояние (зазор) между разделяющей гиперплоскостью и объектами разделяемых классов, тем меньше будет средняя ошибка классификатора. Количество опорных векторов увеличивается с усложнением задачи. Однако у SVM есть недостатки:
Неустойчивость к шуму: выбросы в исходные данные становятся опорными объектами-нарушителями и напрямую влияют на построение разделяющей гиперплоскости;
Не описаны общие методы построения ядер и спрямляющих пространств, наиболее подходящих для конкретной задачи;
Нет отбора признаков;
При попытке использования в мультиклассовой задаче качество и скорость работы падают.
В последнее время набирает популярность обучение с частичным привлечением учителя для ОДН HVAC (отопления, вентиляции и кондиционирования воздуха). Используя только несколько неисправных обучающих выборок, SVM решает задачу обнаружения и диагностирования компонентов нагрева.
Также можно отметить метод релевантных векторов (Relevance Vector Machine, RVM). В отличие от SVM данный метод дает вероятности, с которыми объект принадлежит данному классу. Т.е. если SVM говорит "x принадлежит классу А", то RVM скажет "x принадлежит классу А с вероятностью p и классу B с вероятностью 1-p".
Искусственная нейронная сеть (ИНС)
ИНС — это мощный инструмент, способный выполнять задачи классификации и регрессии. ИНС можно рассматривать как взвешенные ориентированные графы, в которых нейроны являются узлами, и связи между узлами являются взвешенными связями. Это обучение регулирует веса, а также функции активации для принятия желаемого поведения. Используются два типа обучения: контролируемое обучение с учителем и без учителя.
Обучение с учителем: цель состоит в том, чтобы определить синаптические веса из помеченных примеров. Сеть параметров изменяется, чтобы минимизировать ошибки между целевым выводом (предоставленным экспертом) и фактическим выводом в сеть. Метод обратного распространения ошибки (англ. backpropagation) — это пример контролируемого алгоритма обучения.
Без учителя: входные данные не содержат информации о желаемом результате; обучение осуществляется с правилами, которые изменяют параметры сети в соответствии с входными данными. Алгоритм обучения ассоциативной памяти для сетей Хопфилда является тому примером. Квантовые сети Хопфилда используются для диагностики множественных неисправностей аналоговых схем с использованием вероятностного механизма. Затем образцы неисправностей квантуются и стандартно ортогонализируются для подачи в квантовую нейронную сеть Хопфилда. Системный подход, использующий механизм квантовой ассоциативной памяти и принцип квантовой суперпозиции, дает хорошее объяснение вероятности множественных неисправностей.
Кроме того, ИНС можно использовать для создания нейронной модели с целью имитации нормального поведения системы и дополнительных моделей для имитации различных условий неисправности. Затем нейронные модели размещаются параллельно с отслеживаемой системой, и обнаружение неисправностей достигается путем сравнения выходных данных нейронных моделей с выходными данными реальной системы. Классификация неисправностей основана на простом пороговом тесте остатков, сформированных путем вычитания выходных данных каждой нейронной модели из соответствующих выходных данных реальной системы. Для оценки остатков используется байесовская сеть. Сила ИНС — в их способности аппроксимировать и распознавать закономерности. В диагностических приложениях они показали большие перспективы в областях, где присутствуют шумы и ошибки. Однако ИНС требует больших вычислительных ресурсов, что делает сходимость обычно медленной во время обучения и склонна к переобучению, а также требует большого разнообразного набора данных для обучения.
Нечеткая нейронная сеть
Приложения для диагностики в основном включают гибридные нечеткие нейронные модели, в которых нейронные сети и нечеткие системы объединены в одну систему. Наиболее распространенные нечеткие нейронные сети основаны на двух типах моделей: моделях Тагаки Сугено Канга (ТСК) и Мамдани, в сочетании с алгоритмами нейронного
обучения. Существует два основных применения нечетких нейронных сетей в мониторинге. Эти применения чаще всего основаны на изучении остатков, которые генерируются разницей оцененного сигнала, полученного нейро-нечетким наблюдателем, с фактическими значениями сигнала. Затем эти остатки классифицируются и оцениваются с помощью нечеткой нейронной сетью.
Нейро-нечеткое обучение и адаптация нечетких моделей ТСК используются для остаточной генерации, в то время как для остаточной оценки используется нейро-нечеткий классификатор для моделей Мамдани. Такая сеть может быть использована для обнаружения и изолирования неисправности промышленной газовой турбины, уделяя особое внимание неисправностям, возникшим в исполнительной части газовой турбины. Более того, нечеткая нейронная сеть применяется для обучения отображения причин неисправности. Результаты показывают, что этот метод может точно диагностировать множественные неисправности. Последовательная нечеткая кластеризация нечетких нейронных сетей на динамической основе разработана и успешно применяется для мониторинга высокоскоростного процесса фрезерования. Он может последовательно изучать модель, адаптироваться к вариациям и предоставлять оценку или прогноз состояния процесса. Это облегчает ненавязчивую диагностику неисправностей. Нечеткая нейронная сеть имеет преимущества над ИНС, так как нечеткая нейронная сеть обладает способностью представлять неопределенности, присущие человеческому знанию, с помощью лингвистических переменных, и это надежно в отношении возможных нарушений в системе. Тем не менее, для обучения нечеткой нейронной сети необходимо включать знание эксперта в этой области, чтобы установить правила, а обучение требует больших вычислительных ресурсов.
Деревья решений
Деревья решений являются одним из наиболее эффективных инструментов интеллектуального анализа данных и предсказательной аналитики, которые позволяют решать задачи классификации и регрессии.
Они представляют собой иерархические древовидные структуры, состоящие из решающих правил вида «Если ..., то ...». Правила автоматически генерируются в процессе обучения на обучающем множестве и, поскольку они формулируются практически на естественном языке (например, «Если объём продаж более 1000 шт., то товар перспективный»), деревья решений как аналитические модели более вербализуемы и интерпретируемы, чем, скажем, нейронные сети.
Поскольку правила в деревьях решений получаются путём обобщения множества отдельных наблюдений (обучающих примеров), описывающих предметную область, то по аналогии с соответствующим методом логического вывода их называют индуктивными правилами, а сам процесс обучения — индукцией деревьев решений.
В обучающем множестве для примеров должно быть задано целевое значение, так как деревья решений являются моделями, строящимися на основе обучения с учителем. При этом, если целевая переменная дискретная (метка класса), то модель называют деревом классификации, а если непрерывная, то деревом регрессии.
Основополагающие идеи, послужившие толчком к появлению и развитию деревьев решений, были заложены в 1950-х годах в области исследований моделирования человеческого поведения с помощью компьютерных систем. Среди них следует выделить работы К. Ховеленда «Компьютерное моделирование мышления» и Е. Ханта и др. «Эксперименты по индукции».
Существует несколько алгоритмов обучения деревьев решений на основе данных, включая ID3, C4.5 и CART.
В ОДН деревья решений можно использовать для анализа распространения телеметрии в ветряных турбинах с помощью алгоритма обучения дерева решений и обнаружения отказов, повреждений и аномальных операций. Они обучают набор классификаторов дерева решений Bagged на наборе данных с морской ветряной электростанции, состоящей из 48 ветряных турбин, и используют его для автоматического выделения путей, связывающих сбои из-за чрезмерной вибрации с их возможными первопричинами.
Алгоритм CART используется для введения дерева решений в диагностическую стратегию для вентиляционных установок. Детектор установившегося состояния и регрессионная модель включены в стратегию для повышения интерпретируемости разработанной диагностической стратегии. Показано, что с помощью этой стратегии можно достичь хороших диагностических показателей.
Деревья решений визуально более интуитивно понятны, проще и легче усваиваются и интерпретируются инженерами. В отличие от других методов классификации, с классификаторами дерева решений можно выполнять анализ первопричин неисправностей на основе данных; можно проследить путь от конечного состояния до инициирования, путь, который следует последовательности и хронологии взаимосвязи событий. Деревья решений очень устойчивы к зашумленным и неполным данным. Однако для них необходимо использовать параметр обрезки, чтобы уменьшить необходимость переобучения.
Байесовская сеть доверия
Байесовская сеть доверия (англ. Bayesian Belief Network, BBN) — важная вероятностная графическая модель, которая может эффективно решать различные проблемы неопределенности на основе вероятностного представления информации и логических выводов. Байесовская сеть доверия — вероятностная графическая модель, представляющая набор случайных величин и их условных зависимостей через ориентированный ациклический граф. Такая сеть состоит из качественной и количественной частей.
Качественная часть — это направленный ациклический граф, в котором узлы представляют системные переменные, а дуги символизируют зависимости или причинно-следственные связи между переменными.
Количественная часть состоит из условной вероятностной таблицы, которая представляет отношения между каждым узлом и его родителями.
Процедуры диагностики неисправностей с байесовской сетью доверия состоят из моделирования структуры BBN, моделирования параметров BBN, вывода BBN, идентификации неисправностей, а также проверки и верификации. Сообщалось о нескольких методах построения структурных моделей BBN для диагностики неисправностей. Три основных метода включают причинно-следственные связи, алгоритмы сопоставления или структурирование обучения. Кроме того, параметрами являются априорная вероятность корневых узлов и условная вероятность листовых узлов. Эти вероятности могут быть получены из экспертных знаний и опыта, а также статистических результатов исторических, смоделированных и экспериментальных данных.
Алгоритмы могут быть основаны на анализе наблюдаемого поведения системы и сравнении его с набором поведенческих паттернов, созданных на основе различных неисправных состояний. Сопоставляя с образцом, можно сформулировать оценку апостериорного распределения байесовской вероятностной модели. Когда диагностика неисправностей связана с временными, системными или сложными системами, неизбежны трудности со статическими BBN. Поэтому для решения этих проблем используются некоторые другие типы BBN, такие как динамическая байесовская сеть и объектно-ориентированная байесовская сеть.
Динамическая байесовская сеть — это экстенсиональные BBN с переменными, зависящими от времени, и их можно использовать для моделирования временной эволюции динамических систем. Таким образом, используется байесовская сеть, которая моделирует систему электроснабжения для интегральных схем. При этом обрабатывается изменяющаяся динамика сбоя, развитие сбоя и мощность сбоя. Динамическая байесовская сеть используется для моделирования процесса динамической деградации электронных продуктов, а цепи Маркова используются для моделирования переходных отношений четырех состояний, то есть отсутствия неисправности, переходной неисправности, прерывистой неисправности и постоянной неисправности. Кроме того, методология диагностики неисправностей может идентифицировать неисправные компоненты и различать типы неисправностей в разное время.
Объектно-ориентированная байесовская сеть обеспечивает подход для достижения иерархического представления модели, и каждый уровень соответствует уровню абстракции, показывая инкапсулированные узлы для текущего уровня объекта. Такой подход снижает сложность построения BBN и повышает вероятность повторного использования моделей. Методология диагностики неисправностей в реальном времени сложных систем с повторяющимися структурами предложена с использованием объектно-ориентированной байесовской сети. При возникновении неисправностей предлагаемая система диагностики неисправностей на основе объектно-ориентированной байесовской сети может сообщать о неисправностях и предупреждениях. Для указанной системы с определенной ситуацией оператор может ввести некоторую известную информацию об опыте в дополнительные информационные уровни подсетей дополнительной информации и отказов по общей причине.
BBN интуитивно понятен пользователю в плане взаимодействия между переменными модели. Это полезно для моделирования неопределенности и может быть легко использовано для моделирования иерархических уровней множественных причин и следствий с данными из множества источников, которые обычно встречаются в производственных системах. Основная проблема обучения BBN заключается в построении древовидной структуры, и для решения этой проблемы было предложено несколько методов, включая экспертное мнение.
Обсуждения
В процессе диагностики система развивается в недетерминированной среде, что требует учета неопределенностей, которые включают зашумленные измерения, недостающие данные, неизвестность и изменчивость системы. Как правило, корректность работы модели машинного обучения в основном зависит от качества используемых данных.
Основная проблема диагностических систем в промышленных приложениях — это оценка неисправностей с неполными наблюдениями. В промышленной практике необходимо иметь дело с неполными наборами данных и неизвестными измерениями, при этом постоянно требуя полезной и надежной информации для поддержки принятия решений.
Сложность этого вопроса зависит от механизма обмена данных и информативности базы данных процессов. Есть много подходов к решению этих проблем, таких как удаление неполных данных или оценка недостающих данных. Однако некоторые инструменты машинного обучения могут обрабатывать непосредственно неполные данные. Например, BBN может работать неполными наблюдениями. Фактически, он использует вероятности для оценки степени нашей неопределенности, а иногда использует алгоритмы максимизации ожидания для изучения параметров, когда в наборе данных есть некоторые недостающие данные.
Важной частью машинного обучения является способность модели к обобщениям. Действительно, модель, которая слишком сложна по сравнению с проблемой, которую мы хотим моделировать, будет учиться на выбросах, включенных в набор данных; следовательно, модель может быть переобученной, неспособной к обобщениям и допускать множество ошибок при новом наблюдении. По этой причине в некоторых методах используются методы отсечения, например, деревья решений и нейронные сети.
Цель техники обрезки — остановить тренировку, чтобы избежать переобучения. Кроме того, большинство этих методов — это контролируемые методы, которые используют знания эксперта для постановки диагноза. Главный недостаток контролируемых методов состоит в том, что модели известен только тип обнаруженных неисправностей. Тем не менее, с новой ошибкой некоторые модели могут выполнять отклонение неоднозначности или отклонение расстояния, чтобы восполнить недостаток знаний о системе и адаптироваться к развитию системы.
Кроме того, в процессе диагностики датчики генерируют числовые данные, и не все инструменты машинного обучения используют эти числовые данные напрямую. Однако большинство методов машинного обучения работают только с непрерывными переменными, например, метод опорных векторов и ИНС. С другой стороны, другие методы используют дискретные переменные; это случай деревья решений и BBN. В деревьях решений C4.5 поддерживает числовые целевые переменные. Для других алгоритмов, таких как ID3 и CART, они используют дискретные переменные или преобразуют непрерывные переменные в интервал. BBN обычно используют дискретную случайную величину, а иногда можно включить случайную непрерывную переменную, если она имеет гауссовское распределение вероятностей.
Нечеткая нейронная сеть — единственный метод, который может обрабатывать различные типы данных (числовые и символьные). Фактически, он преобразует количественные и качественные значения в нечеткое множество. Оптимальный процесс диагностики заключается в создании модели, способной обрабатывать числовые или символьные данные, при этом оператор может использовать свои знания, улучшая диагностику.
Сложные или гибридные системы характеризуются множеством реконфигураций, несколькими режимами работы и регулярным изменением количества датчиков, особенно в IoT-системах: добавлением или удалением одного или нескольких датчиков. Диагностика гибридных динамических систем требует совместного использования непрерывной динамики и дискретной динамики. В этом случае для диагностики в данном контексте нам потребуются надежные инструменты с изменением моделей и системы измерения.
Заключение
Этот обзор приложения машинного обучения для диагностики неисправностей демонстрирует, что методы машинного обучения могут быть очень полезным инструментом для обнаружения и диагностики неисправностей. Этой статьей мы показали, что один метод не позволяет учесть все характеристики, которые требуются при диагностики системы. Некоторые методы могут дополнять другие, для улучшения системы ОДН. IoT ведет к огромному объему, разнообразию и высокой скорости передачи данных. Более того, возникает необходимость проектировать облака для хранения данных. Однако есть некоторые проблемы, такие как безопасность и масштабируемость. Таким образом, важно построить систему ОДН для уменьшение расходов и простоев системы.
В этой статье было много обзоров и теории без практики и кода. Но в будущем мы планируем написать статью про байесовские сети доверия с практической стороны с примерами кода, способную поставить надежный диагноз и с включение знание эксперта.
Вследствие увеличения сложности систем и необходимости уменьшения затрат на их поддержание традиционные методы ОДН (обнаружение и диагностика неисправностей) не справляются со своей задачей. С другой стороны, эксперты в этой области не сильно доверяют методам, основанным на машинном обучении и глубоком обучении, или, говоря по-другому — методам BlackBox. В свою очередь, при GreyBox методах возможно вводить знание эксперта в систему и более или менее объяснять, как были получены результаты. В связи с этим в статье мы рассмотрим методы ОДН и примеры их применения в IoT системах.
Материал подготовлен в рамках курса «Промышленный ML на больших данных».
Также скоро пройдет двухдневный бесплатный онлайн-интенсив «Как вывести модель в продакшн с помошью AWS? Теория и подготовка». На нем можно узнать, как использовать lambda и нюансы работы с IoT данными; а также научиться выводить модель в продакшн без сложных настроек системы. Записаться можно здесь.
