Анализ данных в бизнес аналитике. Бизнес-аналитика в эпоху больших данных

Скачайте БЕСПЛАТНО полную версию Tableau Desktop, 14 дней и получите в ПОДАРОК обучающие материалы по бизнес-аналитике Tableau

Доступная работа с Big Data с помощью визуальной аналитики

Совершенствуйте бизнес-аналитику и решайте рутинные задачи, используя информацию, скрытую в Big Data, с помощью платформы TIBCO Spotfire. Это — единственная платформа, которая предоставляет бизнес-пользователям интуитивный, удобный пользовательский интерфейс, что позволяет использовать весь спектр аналитических технологий для Больших Данных без привлечения ИТ-специалистов или наличия специального образования.

Интерфейс Spotfire позволяет одинаково удобно работать как с небольшими наборами данных, так и с многотерабайтными кластерами больших данных: показаний датчиков, информации из социальных сетей, точек продаж или геолокационных источников. Пользователи с любыми уровнями знаний с легкостью работают с содержательными панелями управления и аналитическими рабочими процессами просто используя визуализации, которые являются графическим отображением объединения миллиардов точек данных.

Предиктивная аналитика – это обучение в процессе работы на основе совместного опыта компании для принятия более аргументированных решений. Используя Spotfire Predictive Analytics, вы можете находить новые рыночные тренды из информации, полученной в результате бизнес-аналитики и принимать меры для минимизации рисков, что позволит повысить качество управленческих решений.

Обзор

Подключение к Большим Данным для высокопроизводительной аналитики

Spotfire предлагает три основных типа аналитики с бесшовной интеграцией с Hadoop и другими крупными источниками данных:

1. Визуализация данных по требованию (On-Demand Analytics): встроенные, настраиваемые пользователем коннекторы данных, которые упрощают сверхскоростную, интерактивную визуализацию данных
2. Анализ в БД (In-Database Analytics): интеграция с платформой распределительных вычислений, которая позволяют делать вычисления данных любой сложности на основе больших данных.
3. Анализ в оперативной памяти (In-Memory Analytics): интеграция с платформой статистического анализа, которая берет данные непосредственно из любого источника данных, включая традиционные и новые источники данных.

Вместе все эти методы интеграции представляют мощное сочетание визуального исследования и продвинутой аналитики.
Это позволяет бизнес-пользователям получить доступ, объединять и анализировать данные из любых источников данных с помощью мощных, удобных в использовании панелей управления и рабочих процессов.

Коннекторы больших данных

Коннекторы Spotfire для больших данных поддерживают все виды доступа к данным: In-datasource, In-memory и On-demand. Встроенные коннекторы данных Spotfire включают:

• Сертифицированные коннекторы данных Hadoop для Apache Hive, Apache Spark SQL, Cloudera Hive, Cloudera Impala, Databricks Cloud, Hortonworks, MapR Drill и Pivotal HAWQ
• Другие сертифицированные коннекторы больших данных включают Teradata, Teradata Aster и Netezza
• Коннекторы для исторических и текущих данных из таких источников, как OSI PI сенсорные датчики

In-Datasource распределенные вычисления

В дополнение к удобному функционалу Spotfire визуального выбора операций для SQL запросов, которые обращаются к распределенным в источниках данным, Spotfire может создавать алгоритмы статистического и машинного обучения, которые функционируют внутри источников данных и возвращают только необходимые результаты для создания визуализаций в системе Spotfire.

• Пользователи работают с дэшбордами с функционалом визуального выбора, которые обращаются к скриптам, используя встроенные возможности языка TERR,
• Скрипты TERR инициируют работу функционала распределенных вычислений во взаимодействии с Map/Reduce, H2O, SparkR, or Fuzzy Logix,
• Эти приложения в свою очередь обращаются к системам с высокой эффективностью как Hadoop или другие источники данных,
• TERR может быть развернут как движок расширенной аналитики в узлах Hadoop, которые управляются с помощью MapReduce или Spark. Язык TERR также можно использовать для узлов данных Teradata.
• Результаты визуализируются на Spotfire.

TERR для продвинутой аналитики

TIBCO Enterprise Runtime для R (TERR) – TERR является статистическим пакетом корпоративного уровня, который был разработан компанией TIBCO для полной совместимости с языком R, реализуя многолетний опыт компании в аналитической системе, связанный с S+. Это позволяет заказчикам продолжать разработку приложений и моделей не только используя открытый код R, но и интегрировать и развернуть свой код R на коммерческой надежной платформе без необходимости переписывать свой код. TERR обладает более высокой эффективностью и надежным управлением памятью, обеспечивает более высокую скорость обработки данных на больших объемах в сравнении с языком R с открытым кодом.

Объединяя весь функционал

Объединение вышеупомянутых мощных функциональных возможностей означает, что даже в случае сложнейших задач, требующих проведения аналитики с высоким уровнем надежности, пользователи взаимодействуют с простыми и удобными в использовании интерактивными рабочими процессами. Это позволяет бизнес-пользователям визуализировать и анализировать данные, а также делиться результатами аналитики, без необходимости знания деталей архитектуры данных, лежащих в основе бизнес-анализа.

Пример: Интерфейс Spotfire для конфигурации, запуска и визуализации результатов модели, которая определяет характеристики потерянных грузов. С помощью этого интерфейса бизнес-пользователи могут выполнять вычисления с использованием TERR и Н2О (фреймворк для распределенных вычислений), обращаясь к данным транзакций и отгрузок, хранящихся в кластерах Hadoop.

Аналитическое пространство для больших данных

Продвинутая и предиктивная аналитика

Пользователи используют дэшборды Spotfire c функционалом визуального выбора, чтобы запустить богатый набор расширенных возможностей, которые позволяют с легкостью делать прогнозы, создавать модели и оптимизировать их во время работы. Используя большие данные, анализ может быть проведен внутри источника данных (In-Datasource), возвращая только агрегированную информацию и результаты, необходимые для создания визуализаций на платформе Spotfire.

Машинное обучение

Доступен широкий набор инструментов машинного обучения в списке встроенных функций Spotfire, которые можно использовать с помощью одного нажатия. Статистики имеют доступ к программному коду, написанному на языке R и могут расширять используемый функционал. Функционалом машинного обучения можно делиться с другими пользователями для легкого повторного использования.

Доступны следующие методы машинного обучения для непрерывных категориальных переменных на Spotfire и на TERR:

• Линейная и логистическая регрессия
• Деревья принятия решений (Decision trees), алгоритм случайного леса (Random forest), градиентный бустинг машин (GBM)
• Обобщенные линейные (аддитивные) модели (Generalized Additive Models )
• Нейронные сети

Анализ контента

Spotfire обеспечивает аналитику и визуализацию данных, значительная часть которых не использовалась раннее – это неструктурированный текст, который хранится в таких источниках, как документы, отчеты, заметки CRM систем, логи сайтов, публикации в социальных сетях и многое другое.

Локационная аналитика

Многослойные карты высокого разрешения являются отличным способом визуализации больших данных. Богатый функционал Spotfire для работы с картами позволяет Вам создавать карты с таким количеством справочных и функциональных слоев, какое Вам необходимо. Spotfire также дает возможность использовать сложную аналитику во время работы с картами. В дополнение к географическим картам система создает карты для визуализации поведения пользователей, складов, производства, сырья и многих других показателей.

Об анализе информации в последнее время говорят так много и столько всего, что можно окончательно запутаться в проблеме. Это хорошо, что многие обращают внимание на такую актуальную тему. Плохо только то, что под этим термином каждый понимает то, что ему нужно, часто не имея общей картины по проблеме. Фрагментарность в таком подходе является причиной непонимания того, что происходит и что делать. Все состоит из кусков, слабо связанных между собой и не имеющих общего стержня. Наверняка, вы часто слышали фразу "лоскутная автоматизация". С этой проблемой уже неоднократно сталкивались многие и могут подтвердить, что основная проблема при таком подходе состоит в том, что практически никогда невозможно увидеть картину в целом. С анализом ситуация аналогичная.

Для того чтобы было понятно место и назначение каждого механизма анализа, давайте рассмотрим все это целиком. Будет отталкиваться от того, как человек принимает решения, поскольку объяснить, как рождается мысль, мы не в состоянии, сконцентрируемся на том, как можно в этом процессе использовать информационные технологии. Первый вариант – лицо, принимающее решение (ЛПР), использует компьютер только как средство извлечения данных, а выводы делает уже самостоятельно. Для решения такого рода задач используются системы отчетности, многомерный анализ данных, диаграммы и прочие способы визуализации. Второй вариант: программа не только извлекает данные, но и проводит различного рода предобработку, например, очистку, сглаживание и прочее. А к обработанным таким образом данным применяет математические методы анализа – кластеризацию, классификацию, регрессию и т.д. В этом случае ЛПР получает не сырые, а прошедшие серьезную обработку данные, т.е. человек уже работает с моделями, подготовленными компьютером.

Благодаря тому, что в первом случае практически все, что связано собственно с механизмами принятия решений, возлагается на человека, проблема с подбором адекватной модели и выбором методов обработки выносится за пределы механизмов анализа, т. е. базой для принятия решения является либо инструкция (например, каким образом можно реализовать механизмы реагирования на отклонения), либо интуиция. В некоторых случаях этого вполне достаточно, но если ЛПР интересуют знания, находящиеся достаточно глубоко, если так можно выразиться, то просто механизмы извлечения данных тут не помогут. Необходима более серьезная обработка. Это и есть тот самый второй случай. Все применяемые механизмы предобработки и анализа позволяют ЛПР работать на более высоком уровне. Первый вариант подходит для решения тактических и оперативных задач, а второй – для тиражирования знаний и решения стратегических проблем.

Идеальным случаем была бы возможность применять оба подхода к анализу. Они позволяют покрыть почти все потребности организации в анализе бизнес информации. Варьируя методики в зависимости от задач, мы будем иметь возможность в любом случае выжать максимум из имеющейся информации.

Общая схема работы приведена ниже.

Часто при описании того или иного продукта, анализирующего бизнес информацию, применяют термины типа риск-менеджмент, прогнозирование, сегментация рынка… Но в действительности решения каждой из этих задач сводятся к применению одного из описанных ниже методов анализа. Например, прогнозирование – это задача регрессии, сегментация рынка – это кластеризация, управление рисками – это комбинация кластеризации и классификации, возможны и другие методы. Поэтому данный набор технологий позволяет решать большинство бизнес задач. Фактически, они являются атомарными (базовыми) элементами, из которых собирается решение той или иной задачи.

Теперь опишем отдельно каждый фрагмент схемы.

В качестве первичного источника данных должны выступать базы данных систем управления предприятием, офисные документы, Интернет, потому что необходимо использовать все сведения, которые могут пригодиться для принятия решения. Причем речь идет не только о внутренней для организации информации, но и о внешних данных (макроэкономические показатели, конкурентная среда, демографические данные и т.п.).

Хотя в хранилище данных не реализуются технологии анализа, оно является той базой, на которой нужно строить аналитическую систему. В отсутствие хранилища данных на сбор и систематизацию необходимой для анализа информации будет уходить большая часть времени, что в значительной степени сведет на нет все достоинства анализа. Ведь одним из ключевых показателей любой аналитической системы является возможность быстро получить результат.

Следующим элементом схемы является семантический слой. Вне зависимости от того, каким образом будет анализироваться информация, необходимо, чтобы она была понятна ЛПР, поскольку в большинстве случаев анализируемые данных располагаются в различных базах данных, а ЛПР не должен вникать в нюансы работы с СУБД, то требуется создать некий механизм, трансформирующий термины предметной области в вызовы механизмов доступа к БД. Эту задачу и выполняет семантический слой. Желательно, чтобы он был один для всех приложений анализа, таким образом легче применять к задаче различные подходы.

Системы отчетности предназначены для того, чтобы дать ответ на вопрос "что происходит". Первый вариант его использования: регулярные отчеты используются для контроля оперативной ситуации и анализа отклонений. Например, система ежедневно готовит отчеты об остатках продукции на складе, и когда его значение меньше средней недельной продажи, необходимо реагировать на это подготовкой заказа на поставку, т. е. в большинстве случаев это стандартизированные бизнес операции. Чаще всего некоторые элементы этого подхода в том или ином виде реализованы в компаниях (пусть даже просто на бумаге), однако нельзя допускать, чтобы это был единственный из доступных подходов к анализу данных. Второй вариант применения систем отчетности: обработка нерегламентированных запросов. Когда ЛПР хочет проверить какую-либо мысль (гипотезу), ему необходимо получить пищу для размышлений подтверждающую либо опровергающую идею, т. к. эти мысли приходят спонтанно, и отсутствует точное представление о том, какого рода информация потребуется, необходим инструмент, позволяющий быстро и в удобном виде эту информацию получить. Извлеченные данные обычно представляются либо в виде таблиц, либо в виде графиков и диаграмм, хотя возможны и другие представления.

Хотя для построения систем отчетности можно применять различные подходы, самый распространенный на сегодня – это механизм OLAP. Основной идеей является представление информации в виде многомерных кубов, где оси представляют собой измерения (например, время, продукты, клиенты), а в ячейках помещаются показатели (например, сумма продаж, средняя цена закупки). Пользователь манипулирует измерениями и получает информацию в нужном разрезе.

Благодаря простоте понимания OLAP получил широкое распространение в качестве механизма анализа данных, но необходимо понимать, что его возможности в области более глубокого анализа, например, прогнозирования, крайне ограничены. Основной проблемой при решении, задач прогнозирования является вовсе не возможность извлечения интересующих данных в виде таблиц и диаграмм, а построение адекватной модели. Дальше все достаточно просто. На вход имеющейся модели подается новая информация, пропускается через нее, а результат и есть прогноз. Но построение модели является совершенно нетривиальной задачей. Конечно, можно заложить в систему несколько готовых и простых моделей, например, линейную регрессию или что-то аналогичное, довольно часто именно так и поступают, но это проблему не решает. Реальные задачи почти всегда выходят за рамки таких простых моделей. А следовательно, такая модель будет обнаруживать только явные зависимости, ценность обнаружения которых незначительна, что и так хорошо известно и так, или будут строить слишком грубые прогнозы, что тоже совершенно неинтересно. Например, если вы будете при анализе курса акций на фондовом рынке исходить из простого предположения, что завтра акции будут стоить столько же, сколько и сегодня, то в 90% случаев вы угадаете. И насколько ценны такие знания? Интерес для брокеров представляют только оставшиеся 10%. Примитивные модели в большинстве случаев дают результат примерно того же уровня.

Правильным подходом к построению моделей является их пошаговое улучшение. Начав с первой, относительно грубой модели, необходимо по мере накопления новых данных и применения модели на практике улучшать ее. Собственно задача построения прогнозов и тому подобные вещи выходят за рамки механизмов систем отчетности, поэтому и не стоит ждать в этом направлении положительных результатов при применении OLAP. Для решения задач более глубокого анализа применяется совершенно другой набор технологий, объединенных под названием Knowledge Discovery in Databases .

Knowledge Discovery in Databases (KDD) – это процесс преобразования данных в знания. KDD включает в себя вопросы подготовки данных, выбора информативных признаков, очистки данных, применения методов Data Mining (DM), постобработки данных, интерпретации полученных результатов. Data Mining – это процесс обнаружения в "сырых" данных ранее неизвестных, нетривиальных, практически полезных и доступных для интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности.

Привлекательность этого подхода заключается в том, что вне зависимости от предметной области мы применяем одни и те же операции:

1. Извлечь данные. В нашем случае для этого нужен семантический слой.
2. Очистить данные. Применение для анализа "грязных" данных может полностью свести на нет применяемые в дальнейшем механизмы анализа.
3. Трансформировать данные. Различные методы анализа требуют данных, подготовленных в специальном виде. Например, где-то в качестве входов может использоваться только цифровая информация.
4. Провести, собственно, анализ – Data Mining.
5. Интерпретировать полученные результаты.

Это процесс повторяется итеративно.

Data Mining, в свою очередь, обеспечивает решение всего 6 задач – классификация, кластеризация, регрессия, ассоциация, последовательность и анализ отклонений.

Это все, что необходимо сделать, чтобы автоматизировать процесс извлечения знаний. Дальнейшие шаги уже делает эксперт, он же ЛПР.

Интерпретация результатов компьютерной обработки возлагается на человека. Просто различные методы дают различную пищу для размышлений. В самом простом случае – это таблицы и диаграммы, а в более сложном – модели и правила. Полностью исключить участие человека невозможно, т.к. тот или иной результат не имеет никакого значения, пока не будет применен к конкретной предметной области. Однако имеется возможность тиражировать знания. Например, ЛПР при помощи какого-либо метода определил, какие показатели влияют на кредитоспособность покупателей, и представил это в виде правила. Правило можно внести в систему выдачи кредитов и таким образом значительно снизить кредитные риски, поставив их оценки на поток. При этом от человека, занимающегося собственно выпиской документов, не требуется глубокого понимания причин того или иного вывода. Фактически это перенос методов, когда-то примененных в промышленности, в область управления знаниями. Основная идея – переход от разовых и не унифицированных методов к конвейерным.

Все, о чем говорилось выше, только названия задач. И для решения каждой из них можно применять различные методики, начиная от классических статистических методов и кончая самообучающимися алгоритмами. Реальные бизнес задачи решаются практически всегда одним из указанных выше методов или их комбинацией. Практически все задачи – прогнозирование, сегментация рынка, оценка риском, оценка эффективности рекламных кампаний, оценка конкурентных преимуществ и множество других – сводятся к описанным выше. Поэтому, имея в распоряжении инструмент, решающий приведенный список задач, можно говорить, что вы готовы решить любую задачу бизнес анализа.

Если вы обратили внимание, мы нигде не упоминали о том, какой инструмент будет использоваться для анализа, какие технологии, т.к. сами задачи и методы их решения не зависят от инструментария. Это всего лишь описание грамотного подхода к проблеме. Можно использовать все, что угодно, важно только, чтобы был покрыт весь список задач. В этом случае можно говорить о том, что имеется действительно полнофункциональное решение. Очень часто в качестве "полнофункционального решения задач бизнес анализа" предлагаются механизмы, покрывающие только незначительную часть задач. Чаще всего под системой анализа бизнес информации понимается только OLAP, чего совершенно недостаточно для полноценного анализа. Под толстым слоем рекламных лозунгов находится всего лишь система построения отчетов. Эффектные описания того или иного инструмента анализа скрывают суть, но достаточно отталкиваться от предложенной схемы, и вы будете понимать действительное положение вещей.