Обработка потоков событий

analytics-top

Обработка потоков событий (англ. Event Stream Processing, ESP) — набор технологий, предназначенных для построения информационных систем обработки событий. ESP технология включает в себя визуализацию событий, их хранение, управляемое по событиям связующее программное обеспечение и языки программирования обработки событий. Основной задачей для ESP является обработка потоков событий (данных) с целью обнаружения в них значимых шаблонов, используя такие методы как поиск взаимосвязей между событиями, корреляция событий, иерархии событий, и другие аспекты, такие, как причинность, анализ составных событий и временных рядов.

Технология ESP применяется в различных приложениях, например для своевременного выявления мошенничества в сфере финансовых услуг; для оперативного анализа активностей на биржевых торговых площадках; для оценки производительности оборудования по разнородной информации поступающей с датчиков и сенсоров, например в нефтегазовой промышленности; в телекоммуникации для оперативного анализа оттока клиентов и проведения маркетинговых кампаний и др.

Обработка сложных событий (англ. complex event processing, CEP) заключается в обработке множества событий, происходящих на всех уровнях организации, при этом идентифицируются наиболее существенные события из множества событий, анализируется их влияние и в режиме реального времени предпринимаются соответствующие действия.

Обработка сложных событий (англ. complex event) относится к состояниям процесса, изменениям состояния, превышающим определенный пороговый уровень, изменению времени, увеличению значения или к количеству событий. Она требует соответствующего мониторинга событий, отчетов о событиях, регистрации и фильтрации событий. Событие наблюдается как изменение состояния с любым физическим, логическим или иным дискриминирующим условием в технической или экономической системе, информация о каждом состоянии с прикрепленной временной меткой определяет порядок возникновения, а топологическая метка определяет место возникновения события.

Одной из возможностей платформы «НЕКСТБИ Аналитика» является визуальное проектирование алгоритмов для потоковой обработки данных, поступающих в режиме реального времени. Данный функционал позволяет производить обработку произвольных данных с использованием сложных правил, включающих в себя как встроенные, так и сторонние элементы, давая возможность применять технологии ESP и CEP на практике.

Непрерывные потоки данных требуют значительных ресурсов для хранения поступающих событий. Наше решение позволяет выполнять обработку разнородных данных любой сложности в режиме реального времени для оптимизации потребления ресурсов. Для этого предусмотрено большое число встроенных элементов для подключения к различным источникам (Apache Kafka, RabbitMQ, HTTP, Syslog и др.) и обработчиков данных (Фильтрация, Сжатие, Распознавание изображений, Машинное обучение, Обработка правилами и др.) с возможностью добавления сторонних элементов.

img

Обработка непрерывных потоков больших объемов данных в режиме высокой доступности является сложной и актуальной задачей для многих отраслей. «НЕКСТБИ Аналитика» позволяет выполнять отказоустойчивую обработку данных на кластере с возможностью горизонтального масштабирования для молниеносной обработки любых объемов данных в режиме 365/24/7.

img

Обработка больших объемов данных в реальном времени

При обработке больших объёмов данных, важной задачей является мониторинг состояния работы модулей. «НЕКСТБИ Аналитика» предоставляет инструменты для визуального мониторинга работы конвейера с возможностью автоматического реагирования на внештатные ситуации, такие как отказ рабочего узла, выход из строя модуля или повышение нагрузки на узел. Система способна автоматически находить узкие места и производить масштабирование компонент для поддержания требуемой скорости обработки.

img
Решение по обработке потоков событий на базе платформы «НЕКСТБИ Аналитика» позволяет выполнять отказоустойчивую обработку разнородных событий в режиме реального времени с использованием алгоритмов, построенных с применением графического интерфейса.

Обработка сложных событий может быть использована для управления бизнес-процессом (BPM) и относящихся к нему областях.

В управлении компьютерной сетью, управлении системами, управлении жизненным циклом приложения и управлении службами обычно ссылаются на корреляцию событий. В архитектуре CEP средства корреляции событий (корреляторы событий) анализируют массу событий, определяют наиболее важные из них и инициируют действия.

Обработка потока событий с использованием «НЕКСТБИ Аналитика» позволяет производить различные операции с потоками данных, поступающими из выбранных источников в режиме реального времени для выполнения фильтрации, модификации и других операций над потоком событий.

img

Отраслевое применение

Финансовые организации
Финансовые организации
Банки, Страховые компании, Инвестиционные компании
ТЭК
ТЭК
Компании топливно-энергетического сектора
Телекоммуникации
Телекоммуникации
Операторы связи, ТВ компании
Промышленность
Промышленность
Промышленные предприятия
Ритейл и логистика
Ритейл и логистика
Торговые сети, склады, логистические компании

Управление бизнес-процессом сильно сфокусировано на конечных бизнес-процессах с целью непрерывной оптимизации и подстройки к операционному окружению.

Однако, оптимизация бизнеса не основана исключительно на его индивидуальных, конечных процессах. Часто разрозненные, как кажется, процессы могут значительно влиять друг на друга.

Рассмотрим такой сценарий: в аэрокосмической промышленности хорошей практикой является мониторинг аварий транспортных средств для поиска тенденций (определения потенциально слабых мест в производственных процессах, материалах и т. д.) Другой отдельный процесс отслеживает текущий цикл эксплуатации транспортных средств и при необходимости списывает их в конце срока полезного использования. При использовании CEP необходимо связать эти отдельные процессы, при этом в случае, когда начальный процесс (мониторинг поломок) обнаруживает неисправность на основе усталости металла (значимое событие), может быть создано действие, использующее второй процесс (жизненный цикл), чтобы отозвать автомобили, использующие металл той же партии, в которой первым процессом обнаружены неисправности.

Интеграция CEP и управления бизнес-процессом может выполняться в двух уровнях, как на уровне бизнес осведомленности (пользователи должны понимать потенциальные целостные преимущества их индивидуальных процессов), так и на технологическом уровне (должен быть метод, посредством которого CEP может взаимодействовать с реализацией управления бизнес-процессом).