Инструменты методики АЦТ, часть 43: инструменты визуализации данных (Data Visualization), бизнес-аналитика (Business Intelligence) и прогнозная аналитика (Predictive Analytics)

Это сорок третья статья цикла по инструментам методики «Аккордная цифровая трансформация». Продолжаем группу H «Данные и аналитика» подгруппой H2 «Аналитика и визуализация» — инструменты H2-01, H2-02 и H2-03.

Три инструмента этой статьи выстраивают путь от накопленных данных к решению. Инструменты визуализации данных (H2-01) делают массив показателей понятным с первого взгляда. Бизнес-аналитика (H2-02) превращает эту наглядность в цикл регулярных управленческих решений, основанных на фактах, а не на интуиции. Прогнозная аналитика (H2-03) идет дальше описания текущего положения и предсказывает будущее поведение объектов и субъектов. Трудоемкость составляет 18 часов у визуализации данных, отнесенной методикой к простым инструментам, 28 часов у бизнес-аналитики, отнесенной к средним, и 52 часа у прогнозной аналитики — самого трудоемкого инструмента статьи, отнесенного к очень сложным. В сумме 98 часов.

H2-01 — Инструменты визуализации данных (Data Visualization)

Откуда появился инструмент. Современные формы графического представления данных изобрел шотландский инженер и экономист Уильям Плейфэр. В 1786 году в книге «Commercial and Political Atlas» он впервые применил линейный и столбчатый график для представления торгового баланса Англии, а в 1801 году в книге «Statistical Breviary» — круговую диаграмму для сравнения территорий держав. До Плейфэра статистические сведения представляли исключительно таблицами чисел; его нововведением стала мысль, что глаз воспринимает соотношение величин быстрее, чем ум сопоставляет цифры в столбцах. Практическую силу визуализации как инструмента убеждения, а не только иллюстрации, показала полвека спустя Флоренс Найтингейл.

Суть и механика. Инструменты визуализации данных — представление информации в графическом виде, доступном для анализа и интерпретации. Цель — сделать сложные наборы показателей более понятными для пользователя, чтобы он смог оперативно заметить закономерности, тенденции или проблемные зоны. Визуализация помогает улучшить восприятие, выявить закономерности и упростить коммуникацию. Методика перечисляет некоторые инструменты визуализации: диаграммы и графики, интерактивные дашборды, инфографику, карты, графы и схемы связей.

Разницу между таблицей чисел и очевидным фактом видно на первом в истории линейном графике.

Линейный график не добавил ни одной новой цифры к тем, что уже были в таблице: он лишь перевел сравнение чисел в сравнение форм, которое человеческий глаз производит почти мгновенно.

Границы применимости. Инструмент применим везде, где данные нужно быстро воспринять человеку, принимающему решение: в оперативной отчетности, презентациях для руководства, публичной коммуникации результатов. По методике это простой инструмент, наименее трудоемкий в статье. Первое ограничение касается выбора формы: тип диаграммы должен соответствовать характеру данных, и неверно выбранная форма искажает восприятие вместо того, чтобы его прояснять. Второе — риск манипуляции: та же наглядность, что делает диаграмму убедительной, позволяет исказить масштаб различий через неверно выбранный масштаб осей или неполный набор данных. Третье — предел применения: визуализация облегчает восприятие уже собранных и обработанных данных и не заменяет сам анализ, порождающий эти данные. Инструменты визуализации данных получают материал от хранилищ данных (H1-03) и служат интерфейсом для бизнес-аналитики (H2-02).

Чек-лист перед внедрением визуализации данных:

• Определен тип диаграммы, соответствующий характеру данных и вопросу, на который она должна ответить.
• Проверено, что масштаб осей и выбор данных не искажают действительное соотношение величин.
• Оценена аудитория визуализации и требуемый уровень детализации для нее.
• Установлен источник данных, обновление которого поддерживает актуальность визуализации.
• Предусмотрена возможность проверить визуализацию по исходным данным при возникновении вопросов.
• Определено, где визуализация используется разово, а где требуется постоянно обновляемый дашборд.

Типовые ошибки:

• Неверный тип диаграммы. Форма представления не соответствует характеру данных и затрудняет восприятие вместо того, чтобы его облегчить. → Выбирать тип диаграммы исходя из вопроса, на который она отвечает.
• Искажающий масштаб. Оси или выборка данных представляют различия крупнее или мельче действительных. → Проверять, что масштаб не искажает соотношение величин.
• Визуализация без источника. Диаграмма не связана с обновляемыми данными и быстро устаревает. → Связывать визуализацию с актуальным источником данных.
• Подмена анализа картинкой. Красиво оформленная диаграмма выдается за результат анализа, которого не проводилось. → Строить визуализацию на основе завершенного анализа, а не вместо него.

H2-02 — Бизнес-аналитика (Business Intelligence, BI)

Откуда появился инструмент. Термин впервые употребил Ганс Петер Лун, исследователь компании IBM, в статье «A Business Intelligence System», опубликованной в октябрьском номере IBM Journal of Research and Development за 1958 год. Лун описывал систему, которая отбирала бы документы и сведения для конкретных получателей исходя из их круга интересов, задолго до появления вычислительных мощностей, способных это реализовать. Три десятилетия спустя, в 1989 году, аналитик исследовательской компании Gartner Говард Дреснер предложил использовать термин «бизнес-аналитика» как общее название для концепций и методов, повышающих качество деловых решений за счет опоры на факты, а не интуицию. Именно определение Дреснера закрепилось в бизнес-практике.

Суть и механика. Бизнес-аналитика — подход, направленный на анализ данных и бизнес-показателей организации с целью выявления проблем и предложений по их устранению. Цель — помочь руководителям принимать обоснованные решения, основанные на фактических данных, а не на интуиции или предположениях. Процесс BI циклический и итеративный: организации постоянно собирают новые данные, обновляют результаты анализа и совершенствуют свои стратегии.

Разницу между эпизодическими отчетами и постоянно обновляемой картиной операций видно на перестройке управления крупной авиакомпании.

Ценность бизнес-аналитики определяется тем, что решения принимаются на основе картины, обновляемой быстрее, чем меняется сама ситуация, а не разовым отчетом.

Границы применимости. Инструмент применим на предприятиях, где решения принимаются регулярно и опираются на несколько источников операционных данных: в логистике, розничной торговле, производстве с непрерывным циклом. По методике это инструмент средней сложности. Первое ограничение относится к качеству исходных данных: аналитика, построенная на неточных или неполных данных, дает уверенно звучащий, но ошибочный вывод. Второе — цикличность: разовый отчет нельзя назвать бизнес-аналитикой в полном смысле, поскольку ценность подхода состоит именно в постоянном обновлении картины по мере поступления новых данных. Третье — готовность руководителей действовать по данным: система, показывающая точные цифры, бесполезна, если решения по-прежнему принимаются вопреки им. Бизнес-аналитика опирается на хранилища данных (H1-03) как на источник и использует инструменты визуализации данных (H2-01) для представления результатов.

Чек-лист перед внедрением бизнес-аналитики:

• Определены источники данных, которые предстоит объединить, и порядок их регулярного обновления.
• Установлена периодичность пересмотра показателей, соответствующая скорости изменений в бизнесе.
• Проверено качество исходных данных перед тем, как на их основе принимаются решения.
• Назначены ответственные за реагирование на отклонения, выявленные системой.
• Предусмотрен цикл пересмотра стратегии по мере накопления новых данных и результатов анализа.
• Определено, какие решения меняются под влиянием аналитики, а не только какие отчеты формируются.

Типовые ошибки:

• Отчет вместо цикла. Аналитику строят как разовый отчет, а не как постоянно обновляемый процесс. → Встраивать регулярное обновление данных и пересмотр решений в постоянную практику.
• Решения по интуиции вопреки данным. Система показывает точные цифры, но руководители продолжают решать по привычке. → Закреплять обязательность опоры на данные при принятии решений.
• Аналитика на неточных данных. Выводы строятся на неполных или устаревших источниках. → Проверять качество исходных данных до построения аналитики.
• Отсутствие ответственных за реагирование. Система выявляет отклонения, но никто не обязан на них реагировать. → Назначать ответственных за конкретные типы отклонений.

H2-03 — Прогнозная аналитика (Predictive Analytics)

Откуда появился инструмент. Одним из первых практических применений статистического прогноза поведения в деловой сфере стала кредитная оценка. В 1956 году инженер Билл Фэйр и математик Эрл Айзек, познакомившиеся в Стэнфордском исследовательском институте за работой над военными задачами исследования операций, основали компанию Fair, Isaac and Company. Их замысел состоял в том, чтобы заменить субъективное суждение кредитного инспектора статистической моделью, предсказывающей вероятность возврата долга по формализованным признакам заемщика. В 1958 году компания продала свою первую систему кредитного скоринга, хотя банки поначалу отнеслись к идее с недоверием. Модель, впоследствии получившая известность как FICO, стала одним из первых массовых примеров того, как статистический прогноз заменяет экспертное суждение в деловых решениях.

Суть и механика. Прогнозная аналитика — класс методов анализа данных, концентрирующийся на прогнозировании будущего поведения объектов и субъектов с целью принятия оптимальных решений. Методика предполагает использование статистических методов, методов интеллектуального анализа данных, теории игр и машинного обучения и анализирует текущие и исторические факты. Методика перечисляет некоторые методы прогнозной аналитики. Регрессия анализирует взаимосвязи между переменными для оценки их влияния друг на друга — например, позволяет предсказать, как изменение цены повлияет на объемы продаж. Деревья решений классифицируют данные на основе заданных критериев, представляя модель в виде дерева, где каждая ветка символизирует возможный выбор, а листья — результаты этих выборов. Нейронные сети — сложные модели машинного обучения, применяемые для анализа ситуаций, где взаимодействия между переменными слишком сложны для традиционных методов.

Предел применимости даже хорошо откалиброванной прогнозной модели видно на кризисе, затронувшем всю финансовую систему.

Прогнозная модель предсказывает поведение объекта на основании условий, в которых она обучена, и рискует ошибиться именно тогда, когда сами эти условия меняются массово и одновременно.

Границы применимости. Инструмент применим там, где накоплена достаточная история наблюдений и решение можно принять на основе вероятностной оценки: кредитный скоринг, прогноз спроса, предиктивное обслуживание оборудования. По методике это очень сложный инструмент, самый трудоемкий в статье. Первое ограничение связано с устойчивостью условий: модель предсказывает надежно только в границах условий, на которых она обучена, и резкое изменение внешней среды обесценивает даже точную по отдельным объектам модель. Второе — независимость прогнозов: модели, предполагающие независимость событий друг от друга, дают системную ошибку там, где события коррелируют между собой. Третье — интерпретируемость: чем сложнее модель, тем труднее объяснить конкретное решение тому, кого оно касается, что создает сложности там, где решение требует обоснования. Прогнозная аналитика продолжает бизнес-аналитику (H2-02) переходом от описания текущего положения к предсказанию будущего и опирается на искусственный интеллект и машинное обучение (G2-04) как на техническую основу.

Чек-лист перед внедрением прогнозной аналитики:

• Оценен объем и качество исторических данных, на которых обучается модель.
• Проверено, насколько устойчивы условия, в которых модель будет применяться, к резким изменениям.
• Установлено, предполагает ли модель независимость прогнозируемых событий, и обоснованно ли это предположение.
• Определена степень интерпретируемости, необходимая для тех, кого касаются решения на основе прогноза.
• Предусмотрена регулярная проверка точности модели на новых данных после внедрения.
• Установлен порядок пересмотра модели при изменении внешних условий.

Типовые ошибки:

• Модель вне границ обучения. Прогноз применяют в условиях, существенно отличающихся от тех, на которых модель обучена. → Проверять устойчивость условий применения к изменениям.
• Ложное предположение о независимости. Модель не учитывает корреляцию между прогнозируемыми событиями. → Оценивать, насколько события действительно независимы друг от друга.
• Излишняя сложность без необходимости. Для задачи, требующей объяснимости решения, применяют модель, которую невозможно интерпретировать. → Соотносить сложность модели с требованием объяснимости решения.
• Отсутствие проверки после внедрения. Точность модели не отслеживается на новых данных. → Устанавливать регулярную проверку точности после внедрения.

Резюме

Три инструмента этой статьи выстраивают путь от данных к решению по нарастающей сложности. Визуализация делает данные понятными с первого взгляда, бизнес-аналитика превращает эту наглядность в постоянный цикл управленческих решений, прогнозная аналитика идет дальше описания текущего положения к предсказанию будущего поведения. Диаграмма Найтингейл показывает, каким может быть предел визуализации: сила инструмента в убедительности, а не в открытии нового факта, и даже удачная диаграмма меняет практику быстрее, чем более широкую политику. Continental Airlines показывает, чем бизнес-аналитика отличается от разового отчета: ценность в скорости, с которой картина операций обновляется, а не в отдельном показателе. Финансовый кризис 2008 года показывает предел уже прогнозной аналитики: модель, точная для каждого объекта по отдельности, может ошибиться в применении к ним в совокупности, если изменившиеся условия разрушают заложенное в нее предположение о независимости событий. Суммарная трудоемкость в 98 часов ниже, чем у инструментов управления данными из сорок второй статьи, что отражает разницу задач: там данные приводятся в порядок, здесь порядок в данных используется для решений. Для промышленного предприятия отсюда следует практический вывод: каждый следующий инструмент этой последовательности требует большего доверия к модели и берет на себя больший риск ошибки, и это доверие стоит наращивать постепенно, а не сразу переходить от таблиц к прогнозным моделям.

В следующей статье цикла продолжим группу H подгруппой H3 «Обработка данных»: разберем обработку данных в реальном времени, периферийные вычисления и управление большими данными.