Анализ результатов анкетирования, выполненный  по материалам опросов Независимым  рейтинговым  агентством  РейтОР, вузов  Москвы

Результаты общественной оценки вузов Москвы, проведенной АНО «Независимое рейтинговое агентство РейтОР» отражены в трех документах:

· «Вступительная кампания – 2008: рейтинги вузов в помощь абитуриентам. Комплексная общественная оценка вузов Москвы»;

· «Вступительная кампания – 2008: рейтинги вузов в помощь абитуриентам. Рейтинг вузов по уровню раскрытия информации для абитуриентов на сайте»;

· «Вступительная кампания – 2008: рейтинги вузов в помощь абитуриентам. Рейтинги вузов по стоимости обучения».

2.1. Анализ данных при построении рейтинга

вузов по стоимости обучения

Сравнительная информация о вузах Москвы приводится в соответствующем отчете «Вступительная кампания – 2008: рейтинги вузов в помощь абитуриентам. Рейтинги вузов по стоимости обучения», представленном широкой общественности в июне 2008 года. Сравнительные данные разбиты по направлениям подготовки, и рейтинговые таблицы снабжены подробными комментариями об источниках данных.

В соответствии с нумерацией таблиц, представленных в этих материалах, информация о стоимости обучения включена в таблицу 2 (Маркетинг, реклама, связи с общественностью), таблицу 6 (Образование), таблицу 9 (Экономика и управление), таблицу 10 (Электроника, телекоммуникации и информационные технологии). Рейтинг по росту стоимости обучения приведен в следующих таблицах: табл. 12 (Специальность 080102 – Мировая экономика), табл. 13 (Специальность 080103 – Национальная экономика), табл. 14 (Специальность 080105 – Финансы и кредит), табл. 15 (Специальность 080107 – Налоги и налогообложение), табл. 16 (Специальность 080109 – Бухгалтерский учет, анализ и аудит), табл. 17 (Специальность 080111 – Маркетинг), табл. 18 (Специальность 080116 – Математические методы в экономике).

Согласно данным РейтОР в рейтингах стоимости обучения ГУУ располагается на 5-9 местах (средние места) за исключением таблицы 10 – блок «Электроника, телекоммуникации и информационные технологии», в которой ГУУ занимает вторую позицию. Однако ГУУ здесь включен наряду с техническими вузам, такими, как Московский государственный строительный университет, МАМИ, МГТУ имени Н.Э. Баумана и Университет печати, поэтому требуется разделение вузов по стоимости подготовки управленческих и технических кадров. В таблицах рейтинга роста стоимости обучения ГУУ занимает последнее место с нулевым приростом стоимости по всем специальностям.

В целом, эта информация не полна, поскольку в рейтингах не отражены сведения о различиях в направлениях подготовки вузов по специальностям, но все  вузы  (государственные и негосударственные) выдают  один и тот же продукт – диплом государственного образца.

2.2. Анализ данных по рейтингу качества

информационной поддержки, размещенных на сайте

В сводной таблице ГУУ занимает третье место с показателем 84 балла. Однако эти данные не следует считать вполне достоверными, так как большинство критериев, используемых при построении рейтинга, требовали   исключительно экспертных оценок. Например,  такие как «оценка удобства перехода в абитуриентские разделы» или «оценка работы форума для поступающих». Кроме того, в представленных данных не наблюдается корреляция между экспертными оценками и приводимыми здесь же показателями системы Webometrics (индекс рейтинга на основе измерения уровня коммуникативности и т.д.). Так, например, имеющий в отчете первое место ГУ «Высшая школа экономики» имеет 887 место в Webometrics, Московский государственный университет печати, занявший второе место – 3983 место в Webometrics, а занявший пятое место МГУ – 129 место в Webometrics.

2.3. Анализ материалов сводного отчета об общественной оценке вузов

Основные результаты сравнительного исследования АНО «Независимое рейтинговое агентство РейтОР», приведены в отчете «Вступительная кампания – 2008: рейтинги вузов в помощь абитуриентам, комплексная общественная оценка вузов Москвы», представленном в июне 2008 года. В анкетировании принимало участие 5,5 тысяч старшекурсников, 1,5 тысячи преподавателей выпускающих кафедр и около 1 тысячи представителей работодателей. Данные анкетирования собирались по 34 вузам из 65 включенных в анализ, исследовались 10 направлений.

Результаты самооценки студентов старших курсов, как обычно, весьма высоки. Мнение о готовности к профессиональной деятельности и о полезности полученных в вузе знаний выразили свыше половины опрошенных. Особенно выделяются «образовательный», «строительный» и «туристический» блоки. Частота утвердительных ответов значительно превосходит 80 %. В целом, анкета студента содержит всего 10 вопросов (с подвопросами – 19), все значащие из которых – ранжирующие. Применение такой формы вопросов в социальных исследованиях доказало свою низкую эффективность уже довольно давно. Большинство ответов всегда демонстрирует тенденцию стремления к средним значениям, что подтверждают приводимые в отчете диаграммы.

Интересно, что данная тенденция явно прослеживается в оценках соответствия квалификации выпускников вузов требованиям выполняемой работы. Большая доля представителей работодателей указывает на достаточный уровень квалификации, но при этом 64,7% утверждают необходимость проведения дополнительной подготовки (при 6% уклонившихся от ответа) именно по причине недостатка знаний и необходимых навыков.

К сожалению, описание методики оценки мнения работодателей приведено в отчете не полностью. В тексте приводится указание на наличие четырех показателей (вопросов), а описаны только три, причем два из них – это индексы цитирования, то есть просьба указать несколько лучших вузов по мнению анкетируемого. Далее проводились различные процедуры вроде нормирования и объединения результатов. Не раскрыт в отчете и принцип отбора организаций-работодателей (размер предприятия, направленность, штат, квалификация персонала, взаимодействие с зарубежными партнерами и т.п.), что дает основания для различных спекуляций. Например, рейтинг по специальности «Экономика и управление» дает основания полагать, что в опросе принимали участие главным образом представители небольших торговых предприятий (в том числе в сфере информационных технологий), поскольку указываются, в основном, экономические и технические вузы.

В рейтингах работодателей в целом доминирует МГУ имени                    М.В. Ломоносова. В некоторых блоках подготовки первое место может занимать профильный вуз, тогда отрыв его показателей от остальных весьма значителен (сразу на 15-20 %), а далее следует достаточно плотная группа «универсальных вузов» (ВШЭ, Академия имени Г.В. Плеханова, ГУУ, Московская государственная юридическая академия, МГТУ имени                Н.Э. Баумана) с результатами, не превышающими 15 баллов.

Таким образом, рейтинг «от работодателей» не обладает существенной дифференцирующей способностью. Более того, различие между данными в один балл может существенно сказаться на ранге (месте в списке) конкретного вуза, а погрешность метода явно выше. Ведь на одно направление подготовки приходится около ста опрошенных.

Следующий блок отчета посвящен оценкам преподавателями уровней организации различных процессов, происходящих в их вузах. И, как и в случае с представителями работодателей, два критерия строятся на основании индексов цитирования, как по организации учебной, так и по условиям для проведения исследовательской деятельности. Совершенно очевидно, что рейтинговая оценка, построенная на индексе упоминания (цитирования) в данном случае не срабатывает. Наибольшие оценки получили три вуза: МГУ, МГТУ имени Н.Э. Баумана и МФТИ. Причем первое место отличается от второго более чем на 30 %, оно настолько же отличается от третьего, а далее индекс интенсивно падает до однозначных значений (менее 10 %). Следовательно, преподаватели очень редко упоминают схожие по профилю вузы, а приводят наиболее известные два-три названия. При том, что форма анкеты преподавателя допускает указание пяти наименований вузов.

Остальные три рейтинга построены на базе 18 вопросов, объединенных в три блока. В них надо было оценить по ряду показателей организацию исследовательского и учебного процессов, а также социального обеспечения. После этого проводился поиск вопросов, в которых разброс мнений был наибольшим, и назначались соответствующие коэффициенты при суммировании результатов, то есть выполнялся факторный анализ. Другими словами, выделялись признаки, влияющие на оценку преподавателями условий работы в своем вузе. Правда, после этого значения снова складывались, без описания полученных факторов.

Как и следовало ожидать, наибольшие значения рейтинговых баллов достигнуты в небольших и негосударственных вузах. Их одобрение условиями работы максимальное. Для удобства описания оно выбрано за «опорные 100%», а остальные показатели рассчитываются как соответствующие доли. Среди призеров: Институт «Высшие столыпинские курсы государственного права и управления», Российский государственный торгово-экономический университет и Московский архитектурный институт (государственная академия).

Показательно, что, как и в других разделах отчета, результаты группы ведущих вузов (МГУ, МФТИ, РЭА имени Г.В. Плеханова, ВШЭ, ГУУ) лежат в пределах 15 % друг от друга, в «средней» группе в пределах 70-80 % во всех трех показателях.

Таким образом, рейтинговые баллы, выставленные по оценкам преподавателей, не обладают должным реальным дифференцированием и сильно зависят от случайных факторов.

Третий блок отчета посвящен самооценке старшекурсников собственного уровня подготовленности.

Тенденция в ответах полностью повторяет схожую ситуацию с оценками преподавателей. Небольшие вузы имеют максимальные показатели, а большинство вузов держится в средней группе с разбросом в 10-15 %.

Более того, эрудиция студентов в области познаний об уровне подготовки в других вузах настолько мала, что они в подавляющем большинстве указывают либо МГУ имени М.В. Ломоносова, либо МГТУ имени Н.Э. Баумана, как вузы с наилучшим уровнем подготовки.

Таким образом, приведенные в данном блоке рейтинговые оценки не могут претендовать на объективность.

Четвертый, наиболее интересный раздел, посвящен рейтингам, построенным на основе данных ФАО (Федерального аккредитационного агентства).

В рамках данного раздела строятся три рейтинга:

· уровень организации учебного процесса в вузе;

· уровень организации исследовательского процесса в вузе;

· уровень организации социального обеспечения в вузе.

Для определения уровня организации учебного процесса в вузе выбрано 7 количественных показателей из материалов ФАО, затем эксперты НРА РейтОР назначили им весовые коэффициенты. После чего абсолютные значения показателей были объединены по каждому вузу с учетом весовых коэффициентов. В завершение, максимальное полученное значение было принято за 100, и для остальных вузов рейтинговый балл рассчитывался как доля от максимального абсолютного значения.

Еще до описания результатов следует отметить, что данный метод взвешивания некорректен уже самой последовательностью операций, так как абсолютные значения показателей могут различаться слишком сильно. Например, показатели «Общее число учебников … на 100 студентов очной формы обучения» и «доля штатных преподавателей с учеными степенями и званиями, в процентах» несравнимы. Следовало бы сначала соотнести абсолютные значения по вузам, а затем уже рассчитывать сводные значения. Это же замечание относится к двум другим рейтингам этого раздела.

Сами отобранные коэффициенты тоже вызывают сомнения в своей объективности в плане построения объективного рейтинга. Дело в том, что для расчета суммарного показателя используются критериальные показатели, по которым в процессе аккредитации вузы должны показать лишь преодоление критериальных значений. Абсолютные величины при этом не играют никакой роли. Особенно данный факт важен для непрофильных для вуза показателей, например, как в случае ГУУ для фактора «Общая стоимость машин и оборудования на 100 студентов очной формы обучения». Критерий преодолевается, но вот в сравнении со значениями, показанными техническими вузами, он, конечно, несравним. Именно это и отражает приведенный в отчете рейтинг.

Ситуацию неравновесности показателей могли бы исправить экспертные весовые коэффициенты, но они оставлены равными. Приведем для полноты изложения указанные показатели и их экспертные веса (табл. 2.3.1).

Таблица 2.3.1