Модули обработки данных

Отчеты, большие данные, машинное обучение

Отчеты

Построение отчетов по накопленным данным. Редактор отчетов.

Построение отчетов по накопленным данным.

Ваши устройства генерируют большое количество данных, которые сервер CPS позволяет сохранять и обрабатывать. Эти данные являются основой для аналитических отчетов, содержащих информацию, представляющую большую коммерческую ценность для Вас и ваших клиентов.

Сервер CPS содержит модуль построения отчетов в виде таблиц и диаграмм на основе модуля обработки больших данных и инструмента BIRT.
BIRT реализует на базе IDE Eclipse возможность самостоятельной разработки произвольных отчетов. Это простая и нетрудозатратная работа позволит вашим специалистам создавать отчеты в том виде и того содержания, которое нужно вам. BIRT отлично документирован и используется многими организациями и разработчиками.

Проект BIRT(The Business Intelligence and Reporting Tools (BIRT) — это проект с открытым исходным кодом, который поддерживает технологию реализации отчетности и бизнес-аналитики для толстого клиента и web-приложений, особенно тех, которые основаны на Java и Java EE. BIRT является высокоуровневым программным проектом в Eclipse Foundation — независимого некоммерческого консорциума индустрии программного обеспечения и open source сообщества.

Заявленными задачами проекта является решение широкого спектра потребностей в плане реализации отчетов, от оперативных отчетов или отчетов предприятия до аналитической обработки в реальном времени (OLAP). Проект предоставляет возможности, которые позволяют разработчикам легко создавать и интегрировать отчеты в приложения.

Построение отчетов по текущим данным
Сервер CPS поддерживает простое построение отчетов по текущим данным. Фактически, данные отчеты являются отображением текущих данных и агрегатов от них в форме операторских панелей или личных кабинетов.
Мы реализовали графический редактор личных кабинетов для ваших устройств и сервисов. Подробнее с данной возможностью вы можете познакомиться в разделе «Быстрая разработка». Возможна интеграция ваших сервисов с модулями построения online-отчетов Ubidots и Initial State.

Большие данные

Кластер для обработки BigData (spark). Построение сложных аналитических OLAP-отчетов и обучение статистических моделей.

Ваши устройства собирают большие массивы данных и эти данные сами по себе имеют большую ценность? Извлеките эту ценность с использованием CPS. База данных, которая лежит в основе CPS позволяет легко выгружать данные ваших устройств на кластер обработки больших данных. Мы полностью поддерживаем интеграцию с такими популярными инструментами BigData-обработки как, например, Apache Spark (https://spark.apache.org/)

С использованием CPS вы можете вызывать алгоритмы интеллектуальной обработки ваших данных, это позволит вам:
— находить скрытые закономерности в ваших данных
— строить модели, прогнозирующие данные во времени
— выполнять кластеризацию и сегментацию данных ваших пользователей
— выявлять аномалии и реагировать на них
Вам будут доступны современные алгоритмы статистической обработки, машинного обучения, анализа текстов и изображений.
Настройка алгоритмов и их машинное обучение для вашей предметной области — сложная задача. Её могут решить как специалисты нашей компании и наших партнеров, так и сторонние специалисты. Благодаря открытому API ваши данные всегда доступны вам для анализа.

Триггеры

CPS позволяет вам перенести часть логики обработки событий, фиксируемых вашими устройствами, на сервер.
Это позволяет с одной стороны упростить устройство, а с другой стороны дает возможность вам и вашим пользователям удаленно изменять реакцию устройства на то или иное событие без перепрошивки устройства.
В CPS вы можете задавать логику реакции на то или иное событие с помощью триггеров — специальных функций, которые вызываются тогда, когда возникло событие.
Триггеры задаются как с помощью визуального редактора, напоминающего блок схемы, так и на языке Python.
Визуальный редактор позволяет задавать сложную логику обработки событий, но при этом доступен любому пользователю, что упрощает начало работы с CPS и дает дополнительные возможности.
В качестве примера сложного триггера можно привести вариант использования, при котором вы расширяете линейку устройств и при этом добавляете всем устройствам, даже уже произведенным и проданным, возможность взаимодействовать друг с другом.
Это только одна из дополнительных ценностей, которые вам дает Интернет вещей на базе CPS.
Триггеры запускаются параллельно для каждого устройства и каждого события, таким образом, обеспечивается минимальная временная задержка в реакции на возникновение события. Это стало возможным за счет использования технологии Acapella CPVM, от нашего партнера — компании Acapella.
С использованием CPS вы из коробки получаете возможность потоковой обработки данных, а логику обработки данных вы можете задавать графически.
Вы можете использовать триггеры для интеграции вашего сервиса с другими сервисами через HTTP-протокол. Например, воспользоваться готовой библиотекой триггеров от IFTTT.

Online-обработка

Вам может быть интересно, что под капотом CPS находятся высокопроизводительные компоненты open source технологий, такие как СУБД Cassandra и распределенная очередь сообщений Apache Kafka.
Данные технологии позволяют вам не задумываться о трудоемкости решения одной из основных задач Интернета вещей — online-обработки интенсивных потоков данных от миллионов устройств.
CPS реализует решение данной задачи за вас.
Вам лишь остается задать логику обработки данных, что вы легко можете сделать с помощью триггеров.

Готовые алгоритмы обработки данных

Обработка данных от ваших устройств в online или offline режиме — одна из основных ценностей, наряду с удаленным управлением и настройкой, которую предоставляет вам CPS.
Для снижения трудоемкости и сроков разработки алгоритмов анализа и обработки данных именно ваших устройств CPS предоставляет вам библиотеку готовых алгоритмов машинного обучения и нейросетевого анализа данных.
CPS интегрирован с библиотеками Apache Spark MLib и Numenta NuPIC.
Данные библиотеки включают основные функции по интеллектуальному анализу данных.
И если библиотека MLib может быть вам известна, то NuPIC способен вас удивить. Эта библиотека реализует обучение нейронной сети особого вида, способной выявлять и прогнозировать аномалии с высокой степенью точности. Сообщество NuPIC опубликовало большое количество примеров успешного применения этой технологии для анализа потоков данных совершенно различной природы — от температуры и вибрации, до текстов и географических координат.
Теперь вся мощь этих инструментов в ваших руках, а в случае необходимости команда CPS и наши партнеры готовы помочь вам в решении ваших задач обработки данных.