Этап – Обобщение результатов анализа или моделирования, проверка разными стат.критериями значимости полученных результатов.

Тема 6. Эконометрические и статистические модели (4 часа)

Содержание: Специфика статистических и эконометрических методов моделирования. Типы эконометрических моделей. Основные этапы эконометрического моделирования Программные инструменты математического моделирования. Регрессионные модели, методы оценивания параметров регрессионных моделей (МНК, МНП, метод моментов). Требования спецификации МНК. Линейная регрессионная модель (парная и множественная регрессия, простой и обобщенный МНК, оценка качества модели линейной модели). Нелинейные модели регрессии. Отбор факторов для построения эконометрической модели множественной регрессии (априорный, апостериорный подходы). Проверка условий применимости классического метода МНК для построения модели множественной регрессии. Системы регрессионных уравнений (структурные модели).

Напомним примерные этапы статической обработки данных из 1 части курса Статистики:

Этап - Подготовка – ставят цель сбора и анализа данных и определяются с объектом наблюдения, составом его признаков для регистрации. Разрабатывается программа стат.наблюдения, в т.ч. определяют тип и размер выборки.

Этап - сбор данных.

3 этап - Первичная обработка данных: контроль ошибок , данные сводятся в таблицы, выявляют и устраняют из выборки аномалии наблюдения (единичных «странных» значений, которые способны исказить все результаты), при необходимости делается сжатие информации (группировка ). Сгруппированные данные сводятся в таблицах, демонстрируются в виде диаграмм, прежде чем переходят к статистическому анализу.

4 этап стат.наблюдения – собственно Стат. анализ обработанной информации избранными методами / видами анализа.

5 Этап (иногда) – экстраполяция или построение модели, прогнозирование.

Этап – Обобщение результатов анализа или моделирования, проверка разными стат.критериями значимости полученных результатов.

Пример конкретного инструмента ИАД - Microsoft SQL Server Development - среды создания моделей на основе интеллектуального анализа данных; включает программу SQL Server Development Studio, которая содержит алгоритмы интеллектуального анализа данных и средства создания запросов, которые облегчают создание полноценного решения для нескольких проектов. Кроме того, эта среда включает компонент для поиска моделей и управления объектами интеллектуального анализа данных.

Процесс ИАД в этой программе трактуется как циклический: в процессе создания аналитической модели данных, выполнив просмотр данных, пользователь может обнаружить, что данных недостаточно для создания моделей интеллектуального анализа данных, что ведет к необходимости поиска дополнительных данных, может быть, что после построения нескольких моделей окажется, что они не дают адекватный ответ на поставленную задачу, и необходимо поставить задачу по-другому. Может возникнуть необходимость в обновлении уже развернутых моделей за счет новых поступивших данных. Для создания хорошей модели может понадобиться многократно повторить каждый шаг процесса.

1) Постановка задачи. Первым шагом процесса интеллектуального анализа данных, здесь надо решить:

· Что необходимо найти? Какие типы связей необходимо найти?

· Какой результат или атрибут необходимо спрогнозировать?

· Какие виды данных нужно иметь? Нужно ли выполнять очистку, статистическую обработку, чтобы данные стали применимыми?

2) Подготовка данных. Второй шаг процесса интеллектуального анализа данных -  объединение и очистка данных. Данные могут находиться в разных частях сети храниться в различных форматах или содержать неверные или отсутствующие данные. Перед использованием алгоритмов data mining надо подготовить наборы анализируемых данных из хранилищ данных. Очистка данных - это не только удаление недопустимых данных или интерполяция отсутствующих значений, но и поиск в данных скрытых зависимостей, определение источников самых точных данных и подбор факторов, которые больше всего подходят для использования в анализе. Далее данные фильтруются. Фильтрация удаляет выборки с шумами и пропущенными данными. Отфильтрованные данные сводятся к наборам факторов. Набор признаков формируется в соответствии с гипотезами о том, какие факторы сырых данных имеют высокую прогнозную силу в расчете на требуемую вычислительную мощность для обработки. Например, черно-белое изображение лица размером 100×100 пикселей содержит 10 тыс. бит сырых данных. Они могут быть преобразованы в вектор признаков путём обнаружения в изображении глаз и рта. В итоге происходит уменьшение объёма данных с 10 тыс. бит до списка кодов положения, значительно уменьшая объём анализируемых данных, а значит и время анализа.

Просмотр данных. Третьим шагом процесса интеллектуального анализа данных просмотр подготовленных данных. Для принятия правильных решений при создании моделей интеллектуального анализа данных необходимо понимать данные. Методы исследования данных включают в себя расчет минимальных и максимальных значений, вычисление средневероятного и стандартного отклонения и изучение распределения данных. Например, по максимальному, минимальному и среднему значениям можно заключить, что выборка данных не является репрезентативной, необходимо получить более сбалансированные данные или изменить предположения об ожидаемых результатов. Большая величина стандартного отклонения может свидетельствовать о том, что добавление новых данных поможет усовершенствовать модель.

4) Построение моделей и обучение. обучением называют доработку модели. Обучение обозначает процесс применения некоторого математического алгоритма к данным в структуре с целью выявить закономерности. Закономерности, обнаруженные в процессе обучения, зависят от выбора обучающих данных, выбранного алгоритма и целевой функции; обучение, например, модели на основе  нейросети. Модель включает целевую функцию, которая позволяет оценить качество моделии с той или иной точки зрения; что считать критерием оптимальности, правильности модели или вывода в результате ИАД (это обычно всякие статистические критерии). Для обучения модели (например, для рассчета ее параметров) и для проверки качества модели все множество исходных данных, на которых строится модель, делят на две части:

- обучающий набор (90-95 % исходного массива данных) - Обучающий набор используется для «обучения» алгоритма data mining (модели) путем ее модификации до тех пор, пока модель не даст приемлемых результатов с точки зрения целевой функции;

- тестовый набор (5-10 % исходного массива данных) – он нужен для проверки найденных закономерностей, для оценки качества подгонки моделью исходных данных.

Если на тестовых данных результат применения модели не будет отвечать заданной степени точности, модель должна быть  пересмотрена (например, путем использования другой, например, более сложной, формы функциональных взаимосвязей, добавления или устранения некоторых факторов в модели, либо, в отдельных случаях, изменения набора исходных данных).