Эта удивительная тема попала в рубрику Sales по одной причине: около 17 раз она поднималась в нашем IT-сообществе продавцов и маркетологов, причем поднималась как должностная обязанность. Давайте разберемся. Это точно понадобится на рабочем месте, а вот в какой мере — попробуем понять.
Сегодня данные — это огромный актив и основа большинства процессов, сопутствующих цифровой трансформации организаций, более эффективному управлению и росту продаж.
Численные данные очень могущественны и очень конкретны. Для многих руководителей конкретные данные важнее других факторов при принятии решений. Именно поэтому так называемый data-driven подход получил большое распространение по всему миру.
Однако просто собрать данные недостаточно. Чтобы делать выводы и принимать решения, собранные данные должны быть проанализированы, данные из разных источников агрегированы и, наконец, визуализированы в виде понятного аналитического отчета. Здесь на помощь приходит Business Intelligence (BI). Цель BI — интерпретировать большое количество данных, заостряя внимание лишь на ключевых факторах эффективности.
BI-инженер — разведчик для бизнеса
BI наиболее эффективен, когда он объединяет данные, полученные с рынка, на котором работает компания (внешние данные), с данными из источников внутри компании — финансовыми и производственными (внутренние данные). В сочетании внешние и внутренние данные дают более полную картину бизнеса, которую нельзя получить только из одного источника. BI-инженер — человек, который превращает массив необработанных, нечитаемых данных в источник полезной информации и инсайтов для бизнеса. Основными направлениями работ BI-инженера являются:
- разработка модели данных;
- выстраивание процесса получения, трансформации и загрузки данных в хранилище;
- извлечение данных из различных источников и их перемещение в постоянное хранилище (Data Warehouse);
- подготовка и очистка данных для их дальнейшей визуализации;
- непосредственная подготовка отчета в BI-системе.
Для BI-инженера чрезвычайно важно хорошее знание SQL, поскольку это основа всего инструментария. Общие принципы работы с базами данных также необходимо знать, от этого зависит качество кода и финальных данных. Добавляем понимание принципов и навыки построения ETL-процессов и хранилищ данных, знания в области Big Data (MapReduce, Hadoop, Spark, etc). Для дальнейшего развития в профессии понадобятся навыки работы в облаке (AWS, Google Cloud, Microsoft Azure, etc), а также владение одним из высокоуровневых языков программирования — чаще всего используются Python, Java или Scala.
Что касается визуализации данных и формирования отчетов, то этим, как правило, занимается BI-инженер или BI Reporting Developer. В первую очередь эта роль предполагает разработку новых и поддержку существующих отчетов и дашбордов. Также в обязанности может входить конфигурирование и настройка используемых BI-инструментов, задачи по улучшению производительности разработанных отчетов. Такой специалист часто работает напрямую со стейкхолдерами, потому помимо владения специфическими инструментами для построения dashboards (а их количество уже сейчас исчисляется десятками и стремительно растет), знаний SQL и опыта работы с базами данных ему необходимы отличные коммуникационные навыки.
BI-решения: что выбрать?
Интерес к BI-решениям постоянно растет (например, недавно EPAM приобрела Just-BI), а количество инструментов визуализации данных постоянно расширяется.
Поэтому вопрос необходимости BI переходит из плоскости «нужно или нет» в пространство «как применить с максимальным эффектом». По данным исследования Drenser, 48% компаний считают BI критически необходимой или очень важной технологией для развития, а наибольший интерес к внедрению новых инструментов демонстрируют именно небольшие компании со штатом менее 100 человек.
BI-системы сегодня — это мощные инструменты и технологии, необходимые для сбора, анализа, обработки и визуализации данных. Рассмотрим подробнее две наиболее популярные BI-системы: Tableau и Power BI.
Power BI
Power BI — это сервис, который предназначен для анализа и визуализации больших объемов данных. Разработан компанией Microsoft. Интерфейс программы разработан по подобию Windows. Поэтому все, кто знаком с данной операционной системой, смогут разобраться и с Power BI. И напротив, если вы работаете на MacOS, то Power BI однозначно не для вас, т.к. отсутствует поддержка данной операционной системы.
Данный продукт совместим с другими разработками Windows, такими как MS Excel, Azure Cloud Service и SQL Server. К Power BI можно также подключать другие источники данных, например, собственные приложения компании.
Визуализации в сервисе создаются при помощи drag-and-drop. Поэтому все, что нужно для создания какого-либо графика, — это просто нажать на необходимый элемент и переместить его на пустое место в отчете. Такой принцип работает и при выборе того, какие данные необходимо визуализировать. Выделяете часть данных и помещаете их на то место, где находится график.
Экосистема Power BI состоит из нескольких элементов, которые работают вместе:
- классическое приложение Windows — Power BI Desktop;
- веб-служба SaaS — служба Power BI;
- мобильные приложения Power BI для Windows, iOS и Android.
В сфере Augmented analytics данный продукт предоставляет такие возможности, как quick insights, для автоматического определения корреляций и потенциальных выбросов. Визуализация данных на основе искусственного интеллекта автоматически выявляет ключевые факторы, влияющие на заданные показатели, и разбивает данные на группы с помощью деревьев решений. Power BI также предоставляет возможность запуска алгоритмов машинного обучения на данных.
Ключевые особенности системы Power BI
- Связность с другими продуктами Microsoft (MS Excel, SQL Server и др.).
- Наличие бесплатной версии.
- Поддерживает множество способов импорта данных (более 120 бесплатных коннекторов).
- Интерактивные дашборды с изменением данных в реальном времени.
- Есть более-менее активное комьюнити.
- Признан лидером в номинации «Платформы анализа и бизнес-аналитики» по версии Gartner (2021 г.).
Интерфейс PowerBI
Экосистема Power BI
Tableau
Tableau занимает второе место на рынке BI-инструментов и является, пожалуй, самой быстроразвивающейся из всех представленных на рынке. Здесь легко создаются интерактивные дашборды, которые помогают просмотреть динамику, тренды и структуру данных с помощью графиков. Tableau довольно просто интегрируется со многими Big Data платформами (Hadoop, Google BigQuery и др.).
В отличие от Power BI, Tableau обладает широчайшими возможностями для визуализации данных: от стандартных круговых и столбчатых графиков до древовидных и пузырьковых диаграмм, размещения данных на карте и возможности наложения графиков друг на друга. Все это дает более высокий уровень понимания данных и их контекста.
Основным отличием Tableau от других систем является возможность смешивания данных, т.е. для отрисовки одного графика можно скомбинировать данные из разных баз данных и источников. Преимуществом системы Tableau является и то, что несколько пользователей одновременно могут работать над отчетами в режиме реального времени, абсолютно не мешая друг другу.
Smart Analytics в Tableau использует машинное обучение для автоматизации подготовки данных, позволяя пользователям сводить и разделять данные или индексировать и группировать связанные слова с помощью нечеткого сопоставления. Tableau также поддерживает прогнозную аналитику с прогнозированием будущих значений метрики и интеграцией статистических моделей через R и Python.
Ключевые особенности системы Tableau
- Широкий спектр возможностей для визуализации.
- Возможность смешивания данных из разных источников.
- Интеграция с R — популярным open-source окружением для статистического анализа.
- Самое активное комьюнити (более 1 млн пользователей), где постоянно делятся опытом, создают бесплатные видеоуроки и пр.
Ниже приведена более развернутая сравнительная таблица двух систем.
| Параметр сравнения | Power BI | Tableau |
| Возможность настраивать роли для пользователей с разным уровнем доступа к отчетности | Да, есть роли пользователей | Да, есть роли и группы ролей |
| Автоматическое обновление дашбордов | Да | Да |
| Наличие коннекторов для подключения внешних данных | Да, более 120 бесплатных коннекторов | Да, есть web-коннектор |
| Интеграция с продуктами Microsoft | Да | Нет |
| Работа на различных OC | Не работает на MacOS | Да |
| Augmented analytics | Да, широкие возможности прогнозирования и подключения собственных ML-моделей | Да, есть возможности smart analytics, но нет возможности подключения ML-модели |
| Geospatial analytics | Нет | Широкие возможности представления данных на карте/географический контекст |
| Удобство использования | Широкие возможности визуализации, Microsoft-like интерфейс | Широкие возможности визуализации, есть tooltip и возможность организовать несколько отчетов в Story |
| Возможность регулярной рассылки отчетов по email, Slack | Можно расшарить отчет по email. Можно подписаться на отчет (рассылка только на email) | Email
Slack share по ссылке |
| Наличие алертов и рассылки при сбое, аномалии | Да, алерты и рассылка на email | Да, алерты и рассылка на email |
| Документация и сообщество пользователей | Документация на сайте. Есть более-менее активное сообщество пользователей | Документация на сайте Tableau; самое активное сообщество (более 1 млн пользователей) |
| Ценовая политика | Есть бесплатная версия, 60-дневный Pro триал, Premium план (источник) | 14-дневный триал, бесплатная версия только Tableau Public, три градации планов (источник) |
В заключение отметим, что, согласно исследованию Gartner, оценки двух рассмотренных выше BI-систем практически не отличаются.
Проблемы внедрения BI-системы
Несмотря на очевидные преимущества BI-систем, многие компании избегают их внедрения. В свою очередь те, кто решается на подключение BI, сталкиваются со многими проблемами, недооцененными заранее. Незнание этих проблем зачастую заканчивается большим количеством трудоемкой работы, высокими затратами на поддержание системы и отсутствием ощутимой пользы. Приводим лишь некоторые из них.
- Необходимость предварительной обработки и хранения данных: компаниям необходимо привести свои хранилища данных в строгий порядок, прежде чем они смогут начать извлекать необходимую информацию и доверять полученным результатам. Без стандартизации данных есть риск получать некорректные результаты.
- Tableau наиболее чувствительна к «кривым» данным, соответственно, для качественной аналитики требуется дополнительная подготовка данных.
- Неудобство для разработчиков: внедрение любой BI-системы предполагает, что теперь данные нужно представлять в новом, удобном для BI, но неудобном для разработчика виде. Зачастую это выливается в более долгие сроки реализации фичи из-за необходимости имплементировать специальные аналитические события для BI.
- Сложность поддержки: как только меняется, к примеру, название таблицы в базе данных, придется руками пойти и поправить все отчеты, которые используют данные из этой таблицы. Как в Tableau, так и в Power BI отсутствует система контроля версий, поэтому как только произошли изменения (не всегда корректные) в коде, сразу меняются и отчеты. Как правило, эту проблему решают с помощью отдельных Views (листов) для одного отчета, что в свою очередь приводит к огромному количеству папок и отчетов и усложняет навигацию для конечного пользователя.
- Недостаточное понимание собственных бизнес-процессов: компании просто не понимают, как можно эти процессы улучшить. Если процесс не оказывает прямого влияния на прибыль или компания не собирается стандартизировать процессы во всех своих подразделениях, внедрение BI-системы может оказаться неэффективным.
- Слабый перфоманс: эта проблема релевантна, пожалуй, для всех систем визуализации данных. Power BI просто вылетает при попытке загрузить большой объем данных, Tableau также испытывает проблемы с загрузкой. Это накладывает ограничения и на сами отчеты.
