Информационные хранилища и OLAP-технологии

В современных условиях в связи с усложнением характера бизнес-процессов и усугублением возможных последствий за принятие необоснованных управленческих решений возникла потребность в расширении круга аналитических задач, реализуемых с помощью компьютерных технологий. Причем в настоящее время для их успешной реализации сложились все объективные условия, начиная с информационно-вычислительных возможностей современных компьютеров и кончая уровнем знаний у их пользователей – специалистов по управлению.

Следует отметить, что исторически первоочередное внедрение информационных технологий в системах организационно-экономического управления осуществлялось по линии автоматизации расчетных (так называемых транзакционных) задач, реализуемых в рамках OLTP-технологий (On-Line Transaction Processing) и, как правило, связанных с вычислительной обработкой значительных объемов исходной информации. Причинами этого явилось то, что такие задачи:

составляют основу любой системы организационно-экономического управления, поскольку при их решении предоставляются необходимые данные для реализации абсолютного большинства управленческих функций;

носят массовый характер, присущи для систем управления разных масштабов и сфер деятельности, их решение, как правило, осуществляется с определенной, строго установленной (регламентированной) периодичностью;

легко формализуемы, а значит, достаточно просты в компьютерной реализации, так как алгоритмы их решения основаны на простых арифметических операциях (действиях) и в основном заключаются в формировании итоговых данных по различным уровням детализации;

в то же время в своей традиционной ручной реализации весьма трудоемки, поскольку связаны, как правило, с выполнением огромного количества (пусть и несложных) вычислительных операций над большими объемами исходной переменной и постоянной (нормативно-справочной) информации.

Примерами данных задач могут служить расчет заработной платы, контроль поставок, учет поступления и расхода материалов, расчеты с поставщиками и подрядчиками, составление отчетности и т.п. Характерно, что на решение транзакционных задач приходится львиная доля времени обработки данных в информационных системах различных сфер организационно-экономического управления, поэтому первоочередные усилия специалистов информационной сферы были направлены на разработку наиболее рациональных технологий их реализации. В частности, была предложена концепция баз данных (БД), воплотившая в себе системный подход к компьютеризации информационных процессов, в противовес первоначально используемой при позадачном подходе к раздельной организации информационных массивов, главным недостатком которой было огромное дублирование информации.

Необходимо отметить, что первоначально концепция баз данных предполагала полную интеграцию всей информации, применяемой в процессах обработки данных без какого-либо ее дублирования. Однако выигрыш в объемах памяти, необходимой для хранения информации, оборачивался слишком большими затратами времени на выборку из БД информации, требуемой для решения той или иной задачи. Поэтому со временем эта позиция претерпела изменение, и в БД стало допускаться дублирование информации как разумный компромисс между требованиями минимизации объемов хранимых данных и затрат на их выборку из БД.

Что касается способов организации БД, то в настоящее время наиболее распространенными максимально эффективными являются реляционный и объектно-реляционный.

Однако при развитии современного бизнеса все более актуальной становится реализация задач аналитического характера, которые позволяют оценивать множество альтернативных вариантов и принимать обоснованные управленческие решения, обеспечивающие эффективное управление организацией (компанией, корпорацией и т.д.) в условиях часто возникающих изменений внешних и внутренних факторов.

Естественно, что первоначально источником исходной информации для проведения анализа служили данные, хранящиеся в традиционных OLTP-системах. Вместе с тем по мере развития средств и методов анализа и переполнения данными этих систем подобный способ получения аналитической информации становился все менее и менее эффективным. Основные причины этого заключаются в том, что:

во-первых, подобные системы зачастую вообще не обеспечивают возможность получения необходимых данных, так как организация данных в OLTP-системах в целом не ориентирована на решение аналитических задач;

во-вторых, для решения многих аналитических задач требуется обработка значительных объемов информации по достаточно сложным алгоритмам, что в рамках OLTP-системы приводит к существенным затратам вычислительных ресурсов;

в-третьих, реализация аналитических приложений с использованием баз данных OLTP-систем мешает оперативной обработке транзакционных задач, при этом заметно снижается производительность системы и повышается стоимость ее сопровождения, поскольку для задач анализа зачастую требуются исторические сведения за достаточно длительный период.

Указанные причины обусловили необходимость появления новых подходов к организации хранения и обработки информации, которые обеспечивали бы оперативное решение аналитических задач по различным запросам пользователей – специалистов управления.

Первыми в начале 90-х годов прошлого века с данной проблемой столкнулись крупные западные корпорации, которые обнаружили, что в результате накопления в БД огромных объемов информации существенно снижается эффективность работы системы в целом. Выход из создавшейся ситуаций был найден У. Инмоном – специалистом по организации корпоративных БД. Именно он предложил принципиально новый подход к организации хранения информации, названный им хранилищем данных (Data Warehouse).

В настоящее время под хранилищем данных понимается предметно-ориентированный, интегрированный, поддерживающий хронологию набор данных, являющийся единственным источником информации, необходимой для анализа и принятия управленческих решений.

В основе реализации концепции хранилища данных лежат следующие основные принципы:

· подразделяются наборы данных, используемые в системах оперативной обработки данных (OLTP-системах), и наборы данных, применяемые в аналитических системах (OLAP-системах) для поддержки принятия управленческих решений (DSS – Decision Support System);

· перед помещением данных в хранилище они проверяются на непротиворечивость, приводятся к единой системе понятий и единым форматам представления и определенным образом структурируются и обобщаются;

· по мере «устаревания» данные из хранилища не удаляются, как это обычно принято в традиционных БД при их актуализации, а их обновленные значения добавляются к уже имеющимся данным;

· структура хранилища организуется так, чтобы обеспечивалось быстрое и эффективное извлечение необходимой информации (данные могут заранее агрегироваться по наиболее часто используемым аналитическим разрезам);

· помимо данных в хранилище содержатся также и метаданные (т.е. данные о хранящихся данных) – своего рода «досье», отражающее различные сведения о хранящейся управленческой информации и расширяющее возможности ее аналитической обработки. Метаданные характеризуют источник информации, дату ее формирования, дату занесения в хранилище, пользователей информации и т.п.

Понятие «хранилище данных» определяет лишь концепцию организации хранения данных и практически не регламентирует характер и способы (технологии) их использования на практике, поэтому могут встречаться различные варианты их реализации в зависимости от целей создания.

Хранилища данных – это информационный фундамент, на котором строятся OLAP-приложения. Главной особенностью программных средств OLAP-систем является обеспечение оперативного анализа данных, содержащихся в хранилище, причем они ориентированы на их использование любыми специалистами по управлению – непрофессионалами в области компьютерных технологий: руководителями различных служб и отделов. Имея в своем распоряжении гибкие механизмы манипулирования данными, визуального отображения этих процессов и результатов их реализации, специалист по управлению, используя свои знания, опыт и интуицию, может самостоятельно устанавливать различные закономерности в поведении элементов анализируемой системы, сопоставлять различные показатели, выявлять качественно новые, скрытые до этого взаимосвязи между ними.

Что касается результатов проводимого с помощью OLAP-технологий анализа, то особо следует выделить задачи, связанные с интеллектуальным анализом данных, главными целями которого являются обеспечение поиска функциональных и логических закономерностей в отношении накопленной информации, а также построение моделей и правил, объясняющих и/или прогнозирующих эти закономерности. В этом плане OLAP-технологии представляют собой определенный шаг в реализации систем искусственного интеллекта. Основное отличие OLAP-технологий от систем искусственного интеллекта заключается в том, что они позволяют не моделировать естественный интеллект человека, а лишь расширять его способности, используя возможности современных компьютеров и хранилищ данных. Вместе с тем в настоящее время технологии интеллектуального анализа данных (Data Mining) становятся все более актуальными, так как пользователь можно получать не только новые данные, но и новые знания.

Особое место среди информационных технологий, связанных с интеллектуальным анализом данных, отводится технологиям, обеспечивающим решение неформализованных или слабоформализованных задач. Традиционно для решения задач подобного характера используются два подхода: экспертные системы и нейросетевые технологии (нейросети).

Экспертные системы представляют собой разновидность систем искусственного интеллекта, т.е. систем, имитирующих посредством компьютера интеллектуальные способности человека в конкретных прикладных областях его деятельности с учетом накопленных знаний относительно этой прикладной области и формализованных правил получения на их основе новых знаний.

В отличие от экспертных систем нейросетевые технологии при решении неформализованных (или слабоформализованных) задач не требуют знания правил вывода. Для работы нейросети необходимо выполнить ее предварительное «обучение» на достаточном количестве исходных примеров. Такое «обучение» осуществляется в целях настройки функционирования адаптивной системы нейросети для решения задач с заданной степенью достоверности. Данный процесс повторяется до тех пор, пока суммарная погрешность реакции сети на всем множестве исходных значений не достигнет приемлемого уровня. После этого считается, что «обученная» нейросеть способна генерировать идеальные (с ее точки зрения) решения поставленной задачи на основе неизвестных входных данных, но имеющих ту же природу, что и множество данных, с использованием которых осуществлялось ее «обучение».

Если внедрение информационных технологий для анализа данных на основе OLAP-систем и систем искусственного интеллекта обеспечивает расширение круга функциональных задач управления, реализация которых с помощью компьютеров составляет информационную основу для принятия обоснованных бизнес-решений, то автоматизация документооборота и делопроизводства – это прежде всего средство повышения эффективности административно-управленческой деятельности аппарата управления за счет так называемых внутренних резервов.

В настоящее время уже просто немыслимо представить построение корпоративной информационной системы какой-либо управленческой структуры (организации), ориентированной только на решение функциональных задач управления, т.е. задач прикладного характера, обеспечивающих получение информации, необходимой для принятия эффективных управленческих решений. Система управления, в рамках которой не реализуются задачи автоматизации делопроизводства и документооборота, сегодня однозначно не соответствует современным требованиям построения корпоративных информационных систем. И дело здесь не только в том, что внедрение подобных систем электронного документооборота позволяет максимально использовать внутренние резервы повышения эффективности функционирования организации. Автоматизация документооборота и делопроизводства обеспечивает возможность регламентировать права доступа пользователей к информационной базе системы, что позволяет эффективно решить проблему защиты информации от несанкционированных действий со стороны собственного персонала – общепризнанного главного фактора (свыше 80%) утечки коммерческой информации.

Важным фактором в пользу внедрения современных средств электронного документооборота является возможность автоматизации с их помощью работы с системами открытых и личных ключей, обеспечивающими поддержку процессов передачи конфиденциальной информации через общедоступные сети обмена информацией с использованием электронной цифровой подписи.

Наконец, интеграция всех информационных процессов (функциональных и административно-управленческих), осуществляемых в организациях, позволяет перейти к таким прогрессивным формам работы, как «teleworking» (дистанционная работа) и создание виртуальных организационных структур управления.

Дистанционная работа как основа создания виртуальных структур управления

Повлияв на схемы реализации бизнес-процессов и обеспечив возможность функционирования территориально распределенных организационных структур управления, современные информационные технологии коренным образом изменили само понятие «организация» в ее исторически сложившемся традиционном представлении.

С использованием компьютеров на рабочих местах специалистов по управлению и появлением эффективных средств защищенного дистанционного обмена информацией для систем организационно-экономического управления (в которых и исходным «материалом» и конечным «продуктом» является информация) стало возможным значительную часть офисной работы осуществлять вне организации.

Таким образом, для обеспечения эффективной работы наемного персонала в системах организационно-экономического управления в настоящее время на первый план выступают не конкретная их организационная структура со всеми ее неизменными атрибутами (так как она в значительной мере приобретает виртуальный характер), а знание и реализация бизнес-процессов и поддерживающих их информационных технологий. Все это наиболее рациональным образом реализуется в концепции виртуального офиса и главной его составляющей – организации работы управленческого персонала вне офиса (т.е. режима, получившего на Западе название «teleworking»).

В целом все преимущества режима teleworking были быстро оценены за рубежом, где он получает все большее распространение. Так, если в 2000 г. в США дистанционно работало более 10 млн человек, то в начале 2005 г. их количество уже превышало 44 млн, а в Японии в это время таких работников насчитывалось свыше 4 млн человек. По прогнозам экспертов, число дистанционно работающих служащих будет неизменно увеличиваться и в дальнейшем, так как стимулировать сотрудников к работе вне офиса выгодно и для государства, и для работодателя. Это объясняется тем, что преимущества организации труда в дистанционном режиме проявляются как в виде прямого эффекта, позволяющего, по оценкам некоторых специалистов, на 40% уменьшить расходы компании за счет сокращения площади и затрат на оформление и эксплуатацию помещений, так и в виде различных косвенных эффектов, которые проявляются:

· либо практически незамедлительно и связаны главным образом с более благоприятными условиями работы персонала управления вследствие снижения влияния погодных условий, болезней, семейного фактора, проблем с транспортом и т.п.,

· либо в отдаленной перспективе и связаны в первую очередь с проблемами экологического характера.

В России, где проблемы экологии стоят очень остро, организация дистанционной работы может стать одним из весомых аргументов в пользу такого решения. Определенную роль здесь должны сыграть и рыночные механизмы конкуренции, которые постепенно начинают оказывать свое влияние. Так что рано или поздно режим teleworking, реализация которого невозможна без внедрения систем электронного документооборота, найдет свое применение и в нашей стране.

Вместе с тем необходимо отметить, что в настоящее время интеграционные процессы, затрагивающие проблемы построения информационных систем управления, не ограничиваются только объединением функциональных подсистем и систем электронного документооборота. Дальнейшую интеграцию компьютерных систем, функционирующих в рамках одной компании, специалисты видят как реализацию концепции так называемого интеллектуального здания.

Интеллектуальное здание

Интеллектуальное здание – это продукт интеграции всех компьютерных систем, прямо или косвенно поддерживающих деятельность всей компании в целом. Возникшая и активно пропагандируемая на Западе идея интеллектуального здания призвана интегрировать и координировать (синхронизировать) работу информационной системы организационно-экономического управления с работой компьютерных систем, обеспечивающих функционирование различных служб жизнеобеспечения зданий (осветительных, отопительных, охранных, противопожарных и т.п.). Воплощение данной концепции позволяет уже сейчас получить дополнительный экономический эффект только за счет интеграции всех компьютерных систем, используемых в рамках территориально единой инфраструктуры компании. В России она также получила должное понимание, и уже имеются фирмы-интеграторы, готовые обеспечить ее реальное воплощение для организаций различных сфер деятельности.

Наконец, как результат продолжающегося расширения сфер применения Интернет-технологий ожидается широкое распространение экстрасетей, а также дальнейшее совершенствование процессов функционирования на их основе корпоративных информационных систем (уже как экстрасистем).

Экстранет (в данном слове приставка «экстра» означает «внешний», «наружный») представляет собой объединение нескольких интрасетей. Причем в состав экстрасети могут входить как интрасети сторонних организаций, деятельность которых так или иначе информационно взаимосвязана между собой, так и интрасети подразделений одной организации и ее партнеров по бизнесу.

Появление экстрасетей (Экстранет) обусловило реализацию новых идей при применении Интернет-технологий в целях повышения эффективности функционирования коммерческих структур в различных сферах деятельности. Если первоначально это воплотилось в форме создания Интранет-информационных систем, функционирующих на основе «внутреннего Интернета», то с дальнейшим развитием бизнеса появилась потребность в осуществлении оперативной координации действий различных самостоятельно хозяйствующих субъектов (компаний, организаций, предприятий и т.п.), действующих в рамках взаимосвязанных целей.

Налаживание более тесного сотрудничества в условиях происходящей глобализации экономических процессов объективно вызвало необходимость интеграции информационных систем всех соответствующих структур управления, что и нашло свое воплощение в идее экстрасистем.

Экстранет позволяет (в соответствии с заранее установленными соглашениями) всем хозяйствующим субъектам эффективно оперировать с общей для них информацией в процессе осуществления своей деятельности. Следует отметить, что уже сейчас некоторые отечественные фирмы – разработчики софта при создании своих программных продуктов ориентируются на возможность их использования в условиях Экстранета.

Что касается построения и функционирования экстрасистемы, то между ней и корпоративной информационной системой, созданной на принципах Интранета и объединяющей компьютерные сети головного офиса компании и ее удаленных филиалов, практически нет различий. Отличие заключается лишь в том, что в случае Интранета ее структуру образуют сети подразделений одной и той же организации, а в случае Экстранета ее структура включает информационно-вычислительные сети различных организаций, в том числе и самостоятельных (см. рисунок).

 

Принципиальная схема построения Экстранета (на примере страховой компании)

 

STATGRAPHICS (STATistical graphics System) Plus под Windows - статистическая графическая система - представляет уникальный пакет прикладных программ для персональных ЭВМ, выполняющий широкий спектр операций по статистическому моделированию с применением разнообразных графических возможностей. По мнению ряда ученых, из зарубежных пакетов в нашей стране наиболее распространен STATGRAPHICS.

В 1997 г. американская фирма Manugistics выпустила третью версию STATGRAPHICS Plus под Windows; в настоящее время – пятую версию.

Пакет STATGRAPHICS является программой с модульной системой. В настоящее время он состоит из базового (Base System) и пяти дополнительных модулей:

1) модуль расширенного регрессионного анализа - сокращенно РРА (Advanced Regression Module - AR);.

2) модуль анализа временных рядов - сокращенно АВР (Time-Series Analysis Module - TSA);

3) модуль контроля качества - сокращенно КК (Quality Control Module - QC);

4) модуль многомерных методов анализа - сокращенно ММА (Multivariate Methods Module - MM);

5) модуль планирования экспериментов - сокращенно ПЭ (Experimental Design Module - ED).

STATGRAPHICS Plus for Windows включает более 250 статистических и системных процедур, применяющихся в бизнесе, экономике, маркетинге, медицине, биологии, социологии, психологии, на производстве и в других областях. Каждой группе процедур соответствует собственное меню. В Базовой системе функционируют следующие процедуры:

· Меню Describe содержит статистические методы анализа по одной и множеству переменных, процедуры подбора распределений, средства табуляции и кросс-табуляции данных (рис. 2.1).

· Меню Compare включает методы сравнения двух и более выборок данных, процедуры одно- и многофакторного дисперсионного анализа.

· Меню Relate содержит процедуры простого, полиномиального и множественного регрессионного анализа.

Как, видим, в Базовую систему включен достаточно полный набор наиболее часто встречающихся видов статистического анализа данных. В то же время, для расширения возможностей системы предлагаются дополнительные модули, инициализация которых осуществляется через меню Special. К ним относятся:

· Модуль «Контроль качества» предназначен для оценки эффективности всех звеньев производственного процесса и формирования соответствующих контрольных карт. В модуле прекрасно организованы процедуры для конструирования Парето-карт, анализа возможностей процесса и построения Х- и R-контрольных карт. Тесная связь с базовой системой STATGRAPHICS Plus for Windows обеспечивает доступ к полному набору статистических методов. Представляется, что процедуры контроля качества реализованы наилучшим образом.

· Модуль «Планирование эксперимента» помогает сформулировать критерий оптимальности плана эксперимента, подобрать наилучший план, организовать сбор и обработку требуемой информации. При работе с этим модулем пользователю не стоит беспокоиться, много или мало ему известно о планировании эксперимента. В модуле предлагаются эффективные способы упрощения и интеграции знаний об исследуемом процессе. Процедура взаимодействия с модулем следующая: определение факторов; выбор плана; генерация рабочей таблицы для сбора и записи данных; подбор модели; интерпретация результатов. Все вместе позволяет уменьшить время исследования, снизить общие затраты и в целом повысить производительность.

· Модуль «Анализ временных рядов» содержит описательные методы, процедуры сглаживания рядов, сезонной декомпозиции и прогнозирования. Данный модуль помогает увидеть чистую картину динамических данных. Целесообразно начать работу с описательных методов, чтобы получить первое визуальное представление. Затем можно сделать более точное описание динамического ряда, учитывая сезонные эффекты, циклические изменения, тренды, ошибки, выбросы или точки излома в ваших данных. Результаты представляются в табличной форме или на удобных для восприятия графиках.

Если приходится иметь дело с данными из области финансов, STATGRAPHICS Plus for Windows предоставляет возможность определить оптимальное управление капиталом. А если требуется преобразовать данные для лучшей подгонки модели, то для этого существует широкий спектр встроенных функций, например, преобразования Бокса-Кокса. В модуле предусмотрена также возможность автоматического учета инфляционных факторов.

· Модуль «Многомерные методы» предназначен для изучения и раскрытия взаимоотношений множества факторов (переменных). Если пользователь занимается исследованиями в физике, социологии, медицине или других областях, где объекты исследования характеризуются большим числом признаков, данный модуль поможет сортировать и группировать данные, определять отношения между переменными, выдвигать и проверять различные гипотезы. Для этого в модуле функционирует пять мощных процедур, обеспечивающих проведение кластерного анализа, анализа по методу главных компонентов, факторного, дискриминантного и канонического корреляционного анализа.

· Расширенный регрессионный анализ кроме базисных процедур регрессионного анализа включает различные калибровочные модели, процедуры сравнения линий регрессии, отбора наилучших регрессионных моделей, нелинейную множественную регрессию, ридж-регрессию и логистическую регрессию. Требуется ли создать комплексную модель множественной регрессии или рассмотреть и оценить лабораторные методы или просто попытаться выбрать лучшую регрессионную модель — все это представлено в прекрасно организованном модуле расширенного регрессионного анализа.

Все перечисленные выше модули интегрируются в систему и полностью наследуют ее свойства. Модульная структура STATGRAPHICS Plus for Windows позволяет пользователю приобретать только то, что ему необходимо. Учитывая сравнительно невысокую стоимость Базовой системы (например, по отношению к известному пакету SPSS), это дозволяет существенно сэкономить средства.

Из множества свойств STATGRAPHICS Plus for Windows выделим и охарактеризуем следующие.

Гибкий импорт/экспорт данных

Система обеспечивает связь со всеми Windows-приложениями посредством OLE и DDE. Кроме того, файлы Windows- и DOS-версий полностью совместимы между собой, и система без проблем обменивается данными с другими программными продуктами, использующими Lotus-, dBASE-, DIF-, DBF- и ASCII-файлы.

Широкие возможности манипулирования данными

Управление данными организовано удобным и целесообразным способом. Легко доступные из редактора данных или из окна ввода данных опции преобразования предоставляют широкий набор возможностей сортировки данных и трансформации переменных, для чего предназначено более 100 операторов. При этом производимые манипуляции не изменяют содержимого исходных файлов.

 

 

Заключение

Список использованной литературы