Модель логистической регрессии с регулируемой селективностью

МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РФ

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ

«КЕМЕРОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ»

Институт фундаментальных наук

Кафедра прикладной математики

 

 

Курсовая работа

на тему «Логистическая регрессия с негладкой регуляризацией»

По дисциплине «Теория оптимальных процессов»

 

 

студента 4 курса

                                  Файзуллоева Кароматуллоха Абдунабиевича

 

Направление подготовки 01.03.02 Прикладная математика и информатика

 

Научный руководитель:

к.ф.-м.н., профессор

                                                                                                   Крутиков В.Н.

 

	Работа защищена:
	“____”_________________2019 г.
	с оценкой ___________________

 

 

Кемерово 2019

 

Оглавление

3 Модель логистической регрессии с регулируемой селективностью ............14

3.1 Задачаотбора признаков .................................................................................14

3.1.1 Обзор существующих подходов .................................................................14

3.1.2 Встроенные методы отбора признаков на основе байесовского подхода ……………………………………………………………………………………. 16

3.1.3 Свойства оценок параметров моделей со встроенными методами отбора признаков ................................................................................................................17

3.2 Разработка модели ...........................................................................................18

4 Разработка модели логистической регрессии с регулируемой селективностью при наличии экспертных ограничений ................................................................21

4.1 Метод штрафных функций ............................................................................22

4.2 Модель логистической регрессии с регулируемой селективностью при наличии экспертных ограничений .................................................................24

4.2.1 Описание модели ....................................................................................24

4.2.2 Свойства оценки параметров модели ...................................................25

4.3 Настройка параметров модели .................................................................27

4.3.1 Минимизация критерия..........................................................................27

4.3.2 Подбор значений параметра регулируемой селективности .............. 28

5 Экспериментальные исследования ............................................................28

5.1 Сравнение логистической регрессии с регулируемой селективностью с другими методами отбора признаков .......................................................... 28

5.2 Модель с экспертными ограничениями ................................................ 31

6 Заключение .................................................................................................. 35 Список используемой литературы .................................................

 

 

Введение

Наибольшее распространение в банковской сфере получил кредитный скоринг. Кредитный скоринг можно опередить как метод начисления потенциальным заемщикам определенного количества баллов на основе информации о его социальнодемографическом положении, кредитной истории, параметрах запрашиваемого кредита, и принятие решения о выдаче или об отказе в кредите на основе набранного суммарного количества баллов. На настоящий момент банки предъявляют повышенные требования к рисканалитике в связи с участившимися случаями мошенничества и ростом числа невозвратных кредитов. По данным Национального бюро кредитных историй по состоянию на 1 января 2014 года потери кредиторов от мошенников составили 153 млрд руб., тогда как годом ранее их объем был 67 млрд руб. На практике возникает задача не только принятия решения в отказе или выдачи кредита конкретному заемщику на основе набранного количества баллов, но и задача определения оптимального минимального количества набранных баллов для выдачи кредита. Вторая задача решается на основе анализа распределения баллов «надежных» и «ненадежных» заемщиков на основе полученной скоринговой карты и тесна связана с анализом соотношения риска и доходности во всем кредитном портфеле банка. Таким образом, кредитный скоринг является инструментом снижения рисков невозврата кредитов, а также помогает определить оптимальную структуру кредитного портфеля, корректировать процентные ставки по кредитам в зависимости от уровня риска. В большинстве коммерческих банков скоринговые модели являются собственными разработками с различными методиками на основе данных о заемщиках конкретного банка прошлых лет, или являются готовыми решениями специализированных фирм на основе данных о заемщиках нескольких банков или финансовых институтов. И в первом и втором случае методики построения скоринговых карт, как правило, составляют коммерческую тайну. Методы построения скоринговых моделей и на их основе скоринговых карт разбираются в таких работах как (Naeem, 2006); (Lewis, 1992); (Allison, 1999); (Scallan 1999); (Anderson, 2007). Обзор практических статей по кредитном скорингу содержит работа (Mays et al., 2001).

Логистическая регрессия (от слово англ. logit model) – это статистическая модель для прогнозирования вероятности возникновение некоторого события путем подгонки данных к логистической кривой.

 

Логостическая функция:  =

Логистическая регрессия применяется для прогнозирования вероятности возникновения некоторого события по значениям множества признаков.Для этого вводится так называемая зависимая переменная y, которая принимает из двух значений лишь только одно – как правило, это числа 0 (событие не произошло) и 1 (событие произошло), и множество независимых переменных (также называемых признаками, предикторами или регрессорами) – вещественных , на основе значений которых требуется вычислить вероятность принятия того или иного значения зависимой переменной.Как и в случае линейной регрессииб для простоты записи вводится фиктивный признак  = 1.

Делается предположение о том, что вероятность наступления события y = 1 равна:

P{ y = 1 | x} = ,

где z = x = + + … + ,

 

Модель логистической регрессии с регулируемой селективностью

3.1 Задача отбора признаков

В задаче кредитного скоринга на вход подается достаточно большое количество признаков: данные по кредитной истории заемщика, его анкетные данные, депозитная история и так далее. Поэтому проблема отбора релевантных признаков в модель становится крайне актуальной. Следует исключать из анализа нерелевантные и коррелируемные между собой признаки. Правильный отбор признаков позволяет решить следующие задачи:

· Увеличение обобщающей способности модели

· Повышение интерпретируемости модели

· Снижение сложности и времени вычисления модели