Этап 4. Разработка OLAP-куба и информационных панелей

Домашнее задание по управлению данными

2017/2018 учебный год

 

Задание

В процессе выполнения домашнего задания необходимо решить несколько задач, относящихся к области проектирования хранилища данных:

· Подготовка и анализ исходных данных;

· Проектирование реляционного хранилища данных;

· Разработка ETL-процедур;

· Разработка OLAP-куба и информационных панелей.

Задание выполняется в группе из 3 человек. Оцениваются следующие результаты работы:

1. отчет в формате docx;

2. каталог, содержащий созданные в процессе работы диаграммы, файлы, созданные прикладными программными средствами, сценарии и модели;

3. презентация в формате видеообзора (не более 30 минут; каждый участник группы должен прокомментировать часть полученных результатов).

 

Этап 1. Подготовка данных

Обязательное условие блока:

· Подготовьте два источника транзакционных данных, имеющихразные форматы (например, xlsx, csv). Можно найти один массив данных и сделать из него два;

· Минимальное количество справочников – три.Для одного из справочниковнеобходимо предусмотреть возможность отслеживания изменений. Структура справочников не должна быть тривиальной (как минимум три не ключевых атрибута);

· Должна быть четко сформулирована цель, с которой производится интеграция выбранных данных;

· Разработайте требования к аналитической отчетности;

· Структура и состав найденных данных (вместе с источником, откуда они взяты) должны быть описаны в отчете.

Дополнительные условия блока:

· Выберите такой массива данных, на котором можно проводить анализ не только транзакций, но и анализ снимков состояния (анализ изменения состояния);

· В отчете приведите пример других задач, которые могли бы быть решены на тех данных, которые вы нашли.

 

Этап 2. Проектирование. Разработка структуры РХД

Обязательные условия блока:

· Разработать и подробно описать в отчете структуру хранилища данных. Структура витрины данных - снежинка или звезда

· Наличие буферной области (stagingarea). Витрина данных в формате «звезда/снежинка»;

· Должна быть представлена схема архитектуры вашего ХД (можно представить в виде нескольких схем)

o Витрина данных должна содержать как минимум одну таблицу фактов;

o В хранилище должно содержаться как минимум две меры.

· Представить схему потоков данных, а именно: описать, каким образом данные из источников попадают в витрину;

· В отчете должно быть подробно описано, для чего служит каждый элемент архитектуры РХД;

· В отчете должно быть разъяснено, какой уровень гранулярности данных будет использован и почему (подсказка: объяснение должно следовать из раздела 1);

· Хранилище данных содержит в себе витрину данных, ориентированную на подготовку отчетности для решения задач, обозначенных во введении.

Дополнительные условия блока:

· Хранилище данных содержит нормализованнуючасть, разработанную с помощью инструментов anchormodeling;

· Меры, используемые в проекте ХД должны быть описаны отдельно (аддитивность, причины включения в модель ХД)

 

Этап 3. Загрузка и обработка данных

Обязательные условия блока:

· Описать в отчете порядок начальной и инкрементной загрузки данных (текстовые пояснения и диаграммы);

· Реализовать начальную загрузку данных (разработать пакет/процедуру загрузки в SSIS или любом другом средствеETL). Реализовать обработку ошибок загрузки;

· Выполнить загрузку в хранилище;

· В отчете должны быть приведены скриншоты, иллюстрирующие каждый этап выполнения процедуры загрузки + скриншот успешного запуска пакета/процедуры.

Дополнительные условия блока:

· Реализовать инкрементную загрузку данных. Для этого массив исходных данных следует разделить на два: для первой части произвести начальную загрузку, для второй – инкрементную. В результате повторной загрузки не должны возникать ошибки (скриншот успешного запуска следует добавить в отчет), факт загрузки должен быть сохранен в журнале (в виде таблицы).

 

Этап 4. Разработка OLAP-куба и информационных панелей

Обязательное условие блока:

· Создать OLAP-кубс использованиемSSAS и заполнить его данными

o Куб должен содержать не менее четырёх измерений, одно из которых – дата. Необходимо описать каждое измерение и его назначение;

o Измерения должны содержать иерархии (можно обычные, можно parent-child);

o Отношения атрибутов должны быть настроены корректно.

· Все элементы куба должны иметь понятные (и осмысленные) названия на русском языке;

· В отчете привести скриншот представления источника данных, скриншот каждого измерения;

· Разработка не менее трёх полезных (в рассматриваемой предметной области) запросов MDX;

· Построение сводной диаграммы в Excel на основе куба;

· Разработка информационной панели в Qliksense, содержащей график, таблицу и спидометр.

Дополнительные условия блока:

· В одном из измерений реализовать несколько иерархий;

· Информационная панель должна содержать не менее 5 различных элементов визуализации;

· Опишите, каким образом разработанная сводная диаграмма и информационная панель могут быть использованы аналитиками.

 

 

Сложность найденных данных повышает вашу оценку. Выполнение основного блока задания – максимальная оценка 7. Выполнение дополнительного блока – 8 и выше. Положительная оценка за КДЗ выставлется только при условии, что работа выполнялась всеми членами команды.