MacroData - корпоративная аналитика для застройщиков
В современном бизнесе данные играют ключевую роль в принятии стратегических решений. Для подобной аналитики применяются BI системы. Самые популярные из них это PowerBI, Qlick, Tableu, Google Looker. Однако, чтобы получить максимальную пользу от таких систем, необходимо иметь доступ к высококачественным и полным данным на основе которых BI сервис будет строить отчеты и графики.
Однако, сервис подготовки данных для BI систем довольно сложен технологически и организационно. Забегая вперед скажу, мы сделали простой и удобный сервис MacroData, который наилучшим образом решает задачи корпоративной аналитики застройщиков и строительных компаний.
Но прежде хотим сказать пару слов о сложностях и красоте построения аналитического сервиса в высоконагруженной облачной системе отраслевой платформы. Поехали!
Начнем с главного: данные, которые хранятся в CRM/ERP системах, нельзя напрямую использовать в BI сервисах, по нескольким причинам:
Кардинально разные требования систем к составу данных. Данные сущностей (заявок, объектов, сделок, заказов, документов, и тд) хранятся в виде, оптимальном для производительной работы CRM/ERP, но не для производительной аналитики. Данные одной сущности могут храниться в десятках различных таблиц, связанных друг с другом. Причем одной записи, например сделке, могут соответствовать несколько записей из таблицы графиков платежей, или одному заказу могут соответствовать несколько операций поставки. Для того, чтобы работать с этими данными и строить на их основе аналитику нужно хорошо понимать структуру хранения, связи и бизнес-логику формирования этих данных.
Избыточность хранимых данных в системе. Каждая из таблиц сущностей содержит помимо данных, важных для аналитики (например цен, площадей, дат), так же множество данных, используемых в работе системы (таких как описания, названия или вспомогательные характеристики объектов). И, как правило, объем данных, требуемый для анализа в BI составляет 20% от всего объема данных, хранящихся в базе данных системы. Загрузка этих данных в BI систему потребует значительного времени, будет потреблять лишнее место в хранилище и негативно сказываться на производительность подсистемы аналитики в целом.
Прожорливость BI системы. В процессе работе BI системы производят многочисленные манипуляции над данными: множественное агрегирование, фильтрацию, упорядочивание. Для обеспечения быстродействия работы BI системы данные, подлежащие манипуляциям должны быть представленны в минимально необходимом наборе, подготовлены для группировок, суммирования, и т.д. Прямые запросы в рабочую базу данных системы, тем более облачную, могут как замедлить работу самой BI, так и негативно сказаться на производительности базы данных CRM/ERP, которая предназначена для надежного хранения и выгрузки данных, но не для сложных математических манипуляций.
Безопасность. Все клиенты облачной системы используют одну и ту же базу данных для хранения своих данных. За безопасность и доступ только к своим данным отвечает программа. Прямой же доступ в базу данных к данным ТОЛЬКО одной компании невозможен, поскольку база данных общая. В связи с этим прямой доступ не из программы, а, например из Интернета, вообще закрыт. Данные - это самый ценный ресурс компании, поэтому меры к их безопасности максимальные.
Одно решение для управления всеми данными
В процессе длительных экспериментов мы разработали оптимальное решение всех обозначенных выше сложностей. Решение MacroData состоит из двух компонентов: ETL и выделенной базы данных для каждого нашего клиента - застройщика или строительной компании. ETL используется для сбора необходимых данных из разных таблиц, объединения их в единый поток данных и предварительной обработки этих данных в формат хранения, оптимальный для BI систем.
Затем данные выгружаются в выделенную базу данных каждой компании. Таким образом обеспечивается и производительность и безопасность всей системы.
Вся инфраструктура для клиента создается и обслуживается полностью автоматически, что сокращает подготовку сервиса для клиента до нажатия пары кнопок.
Преимущества использования выделенной базы данных MySQL для ETL процессов очевидны:
Быстрый доступ к данным Выделенная база данных позволяет быстро получать доступ к данным, так как она оптимизирована для работы с большим объемом данных. Более того, данные в таблицах уже предварительно подготовлены для использования в BI системах, что существенно ускоряет процесс их получения и анализа.
Удобное и безопасное хранение данных Выделенная база данных позволяет хранить данные в удобном формате, который оптимизирован для использования в BI системах. Данные денормализованы и агрегированы в соответствии с требованиями аналитика, что позволяет снизить нагрузку на систему и ускорить процесс получения и анализа данных.
Максимальная совместимость с BI системами MySQL является одной из самых распространенных баз данных, в том числе и для использования с BI системами. Она поддерживается большинством современных BI систем, таких как PowerBI, Qlick или Google Looker, что серьезно упрощает работу аналитика.
MacroData позволяет менее чем за час подключить BI систему к данным вашей компании. Теперь вы можете сразу же начать формирование отчетов и корпоративной аналитики, не тратя время на подготовку данных, их очистку, настройку связей и прочие долгие и затратные процедуры - мы сделали это за вас.
Учитывая то, что платформа MACRO является отраслевой, мы храним и предоставляем Вам максимальный набор атрибутов ресурсов и процессов, для самых взыскательных аналитиков и самых глубоких запросов.
Опубликованные отчеты из BI системы встраиваются непосредственно в MACRO, для того, чтобы сотрудники могли работать с разными системами в режиме одного окна.
Данные в выделенной базе данных актуализируются ежесуточно, поэтому ваша аналитика всегда будет актуальной и подаваться вместе с утренним кофе.
MACRO - мы работаем для Вас. Каждый день.
Если у Вас остались вопросы, пожалуйста, задайте их в вашем чате сопровождения.
Last updated
