Как облачные сервисы помогают решать типовые и уникальные задачи

Владислав Богучаров, аналитик данных, Beltel Datanomics.

Данные представляют ценность – это утверждение сегодня ни у кого не вызывает сомнений. Анализ исторических данных за несколько прошедших лет или сезонов может обрисовать ясную картину перспектив на следующий промежуток времени. Например, в контексте производства могут быть проанализированы периоды с максимальной производительностью, минимальными потерями, соблюдения некоторого соотношения и прочего. В дальнейшем такой анализ позволяет производствам определить оптимальный режим работы, при котором будет достигаться желаемая метрика. Выгоды очевидны, но как компаниям из традиционных отраслей, которые еще вчера были «нецифровыми», быстро овладеть «цифровыми» навыками и обеспечить себе процветающее будущее уже сегодня?

Пользоваться готовыми решениями

Прежде чем нанимать дорогостоящих аналитиков данных или поручать ИТ-отделу осваивать область интеллектуальных технологий, например, машинное обучение, следует разобраться, является ли ваша задача уникальной. Многие проблемы имеют существующие решения, которые разработаны и поддерживаются ведущими поставщиками облачных услуг. Чтобы в кратчайшие сроки проверить гипотезы о скомпонованных данных, наша команда использует сервис Azure ML Studio, который предоставляет инструменты для обучения модели. Данный сервис является графическим интерфейсом, в котором создаются, тестируются и развертываются решения для прогнозного анализа данных по принципу конструктора, перетаскивая блоки, что делает Azure ML Studio интуитивно понятным. Будь то задача регрессии, бинарной или многоклассовой классификации, детектирования аномалий или распознавания изображений – передовые алгоритмы в облачных службах уже выстроены опытными аналитиками и периодически обновляются.

Если задача уникальна?

Однако в задачах анализа данных существуют этапы, выходящие за пределы стандартных и настроенных подходов. Например, накопленные данные требуют предварительной обработки. К этапам предварительной обработки могут относиться следующие пункты, но список на этом не заканчивается:

• Данные хранятся в разных источниках и их необходимо объединить в одном месте, учитывая параметры синхронизации;
• Целевая величина должна быть выведена из других имеющихся входных параметров;
• Природа данных избыточна, вследствие чего необходимо провести агрегирование величин;
• Генерация производных параметров, которые помогут модели делать прогноз точнее;
• Исключение аномальных периодов работы предприятия.

Для того чтобы персонализированные решения работали, и при этом каждая команда разработчиков пользовалась своими удобными инструментами и библиотеками, применяются системы контейнеризации. В этом случае Microsoft Azure предлагает использование сервиса Azure Container Instances (ACI), который оборачивает программный модуль со всеми необходимыми для него зависимостями в контейнер подобно виртуальной машине. Python или R, Linux или Windows – с бессерверными контейнерами пользователю не нужно беспокоиться об управлении инфраструктурой, что значительно сокращает время внедрения решения.

Наш опыт ведения аналитических проектов

Например, для внедрения умной производственной оптимизации необходимо всего два ACI и один планировщик задач Logic App для настройки автоматизации. Каждый контейнер имеет свою задачу:

• первый контейнер – это алгоритм оптимизации с доступом к историческим данным, который использует в качестве основы предсказательные модели машинного обучения, способные успешно прогнозировать точные показатели производительности при заданных настройках контролируемых оператором переменных;
• второй контейнер – это реализация способа визуализации результатов алгоритма оптимизации, т.е. какие регулируемые переменные следует скорректировать, чтобы улучшить производительность установки.

Планировщик задач с определенной периодичностью запускает первый контейнер, чтобы получить оптимальные рекомендации по режимам производства в реальном времени, а второй контейнер на постоянной основе транслирует данную информацию в систему визуализации. Выстроенная архитектура зарекомендовала себя как отказоустойчивая и надежная, позволяющая разработчикам вносить изменения в кратчайшие сроки, не оставляя заказчиков с нерабочим продуктом.

Заключение

Задачи анализа данных и поиска в них закономерностей нетривиальные. Однако многие из них типовые, вследствие чего стало доступным проверять гипотезы и создавать аналитические решения в кратчайшие сроки с помощью облачных сервисов. Для уникальных задач необходимо написание кода, но развертывание решения существенно упрощается благодаря современным системам контейнеризации и автоматизации, которые также предоставляются облачными сервисами и позволяют добиться отказоустойчивой и надежной архитектуры.