Показатели уровня организации исследовательского процесса в вузе

Наибольшего успеха в организации социального обеспечения, согласно приведенным данным, добился Российский государственный аграрный университет (МСХА имени К.А. Тимирязева). Этот результат более чем на треть превышает показатель МГУ (62 балла) и почти вдвое – рейтинг МГТУ имени Н.Э. Баумана (52 балла). Обладающий значительным размером санаторно-профилакторной базы, РГСУ – на 25 месте с 13 баллами.

Государственный университет управления занимает в этом рейтинге «почетное» двадцатое место с 16 баллами, почти втрое опережая ВШЭ и РАГС при Президенте РФ по набранным баллам (5 и 6 баллов, соответственно).

В общем, как и в предыдущих случаях, выбранные экспертами показатели весьма условны, поскольку не затрагивают очень интересующие будущих студентов темы, такие, как: социальные пособия, гранты на обучение, поддержка студентов-инвалидов (профиль Российского государственного социального университета), возможность обучения на дому и т.п. И как в случае с описанными ранее критериями, линейный характер отображения абсолютных величин приводит к низкому дифференцированию основной группы вузов, выделяя одну или две позиции в начале списка.

Предпоследний раздел отчета НРА «РейтОР» содержит информацию о совокупном рейтинге выпускников вузов «Образование представителей российской элиты».

Из различных источников была получена информация о первом высшем образовании представителей элиты государственного управления, бизнес-элиты и академической элиты России. Количество упоминаний вуза по каждому блоку суммируется, вычисляется доля от максимума в каждом блоке. Затем значения по трем блокам складываются и вновь вычисляется доля от максимального значения. Естественно, что результат рейтингования будет сильно зависеть от способа выбора представителей элиты.

Поскольку МГУ имени М.В. Ломоносова один из самых крупных и старых московских вузов, он заслуженно занимает первое место. Далее с почти пятикратным отставанием следуют МГИМО, МАИ и РЭА имени                     Г.В. Плеханова (21, 21 и 20 баллов соответственно). ГУУ делит с МГТУ имени Н.Э. Баумана и Финансовой академией при Правительстве РФ 7-9 места с 13 баллами. Интересно, что среди включенных в исследование представителей элиты ни один не обучался в Государственном университете – Высшей школе экономики.

Завершающая часть отчета «Независимого рейтингового агентства РейтОР» посвящена информационной прозрачности сайтов вузов для абитуриентов. Этот рейтинг дублирует информацию из документа «Вступительная кампания – 2008: рейтинги вузов в помощь абитуриентам. Рейтинг вузов по уровню раскрытия информации для абитуриентов на сайте», описанного ранее, и представляется достаточно полезным для сравнения вузов, поскольку более остальных ориентирован на потребности абитуриентов. Показатели, включенные в рейтинг, отражают доступность информации, которой наиболее часто интересуются поступающие.

Государственный университет управления занимает в нем третье место с результатом 84 балла. Первое место – за ВШЭ (100 баллов). МГУ – на пятом месте с 75 баллами.

В заключение данного анализа необходимо остановиться на выводах, приведенных в рассматриваемом отчете. За исключением выводов о неготовности администрации вузов к проведению общественной оценки, о характере изменения стоимости обучения и развития негосударственного высшего образования, остальные шесть пунктов можно признать адекватными сложившейся в высшем образовании ситуации. Интересно, что шестой пункт, указывающий, что «существующие процедуры статистической отчетности не позволяют проводить систематическую работу по адекватной оценке и построению рейтингов вузов», противоречит содержанию самого отчета. В нем ведь утверждается как раз возможность составления рейтингов вузов по различным «доступным» для анализа показателям.

Основные выводы, сделанные специалистами НРА «РейтОР» следующие:

§ Несовпадение оценок работодателей и старшекурсников относительно их уровня подготовки вызвано преимущественно завышенной самооценкой старшекурсников.

§ Старшекурсники известных вузов более критично оценивают свои компетенции и готовность к профессиональной деятельности.

§ Работодатели ориентируются в первую очередь на выпускников известных вузов с богатыми традициями, независимо от направлений подготовки выпускников.

§ Несмотря за заявленный работодателями недостаток практических навыков у выпускников вузов, оценка уровня подготовки выпускников работодателями в большинстве случаев положительная.

§ Преподаватели ведущих вузов критично относятся к уровню организации учебного, исследовательского процессов и соцобеспечения в своих вузах, что противоречит официальной образовательной статистике.

Видно, что большинство из приведенных утверждений можно охарактеризовать как самоочевидные. А несовпадение мнения преподавателей вузов с официальной статистикой описывается лишь несовершенством «объективных» критериев, как было показано выше. Кроме того, нигде в отчете не указывается, каким образом определить ведущие вузы, поэтому последний вывод также не может считаться допустимым.

В качестве общего заключения по результатам анализа представленных АНО «Независимое рейтинговое агентство РейтОР» материалов можно отметить актуальность проведения комплексной общественной оценки вузов Москвы как основы развития коммуникации между вузами и основными потребителями образовательных услуг – абитуриентами. Однако формы сбора первичной информации о вузах, способы ее обработки и методы анализа требуют значительной доработки. Наверное, здесь очень большую пользу могло бы оказать сотрудничество агентства с ведущими центрами проведения схожих исследований в образовании, например, с Федеральным институтом педагогических измерений и другими подобными организациями.

3. Сравнение методик результатов анкетирования, полученных

по материалам ГУУ и  агентства  РейтОР

Методики сбора данных, используемые НРА «РейтОР» и Центром качества ГУУ, в значительной степени отличаются, поскольку по-разному интерпретируют респондента.

В методике агентства, опрашиваемый считается экспертом (в терминологии ЕГЭ – рейтером), весьма осведомленным о качестве учебного процесса в ряде вузов аналогичного профиля и способным делать сравнительные суждения по категориальным вопросам. Например, выделять вузы, доминирующие в вопросах качества организации учебного процесса. Кроме того, анкетируемый должен уметь выставлять оценку своему вузу по различным направлениям обеспечения учебной, научной и социальной деятельности в качественной шкале (1 – крайне плохо, 5 – идеально), что предполагает наличие у эксперта опыта в подобной оценке. К примеру, его участие в аккредитации ряда вузов, длительную работу или учебу в нескольких вузах, участие в обеспечении учебного (научного, социального) процесса в группе вузов.

Благодаря ориентации на экспертный характер ответов, методика НРА «РейтОР» составлена из двух групп вопросов:

§ оценки разных сторон деятельности собственного вуза в виде набора критериев, требующих политомической - рейтинговой оценки (от 1 до 5);

§ индекса упоминания – запросов на указание группы лучших вузов в обеспечении конкретного вида деятельности.

Индекс упоминания рассчитывается как частота появления наименования конкретного вуза в ответах всех экспертов. Чем чаще упоминается – тем вуз успешнее решает поставленные задачи.

Экспертный характер ответов определяет методы сбора данных и их обработки. В частности, опрашиваемым предлагается набор параметров (критериев), вроде «обеспечения доступа к компьютерам вуза» (интересно, к компьютерам ректората тоже должен быть доступ у преподавателей, для получения оценки «идеально»?). Затем оценки экспертов всех вузов по каждому критерию объединяются и выбираются те критерии, которые наиболее сильно «различают» вузы (метод факторного анализа). Роль слабодифференцирующих критериев снижается в результирующей рейтинговой оценке введением специальных весовых коэффициентов. Таким образом, при «прочих равных» для большинства вузов критериях, например, по уровню доступа к информационным сетям (Интернет), значительное влияние на ранжирование вузов по качеству социального обеспечения может оказать пункт «5 – другое», если экспертные баллы по нему будут сильно различаться.

Показательно, что в каждой предложенной группе критериев присутствует пункт «Другое», для которого приведена та же пятибалльная шкала и однострочное поле для вписывания собственного варианта. Учитывая его размер, можно заметить, что опрашиваемые будут иметь трудность с указанием собственного варианта критерия. Например, в анкетах, заполненных преподавателями и студентами ГУУ, данное поле (собственный критерий) не заполнялся, хотя числовая оценка выставлялась примерно в пятой части случаев.

Фактически этот пункт просто искажает сравнительную статистику. Особенно, если учесть указанный ранее метод расчета весовых коэффициентов. В одном вузе в «Другое» опрашиваемые могут отнести положительные стороны деятельности вуза, например, заботу о малообеспеченных студентах, а в другом – отрицательные, к примеру, штрафы за срыв занятий.

Включение в систему рейтингования (сравнительного анализа) пункта с указанием произвольно вписываемого критерия – неудачная практика, поскольку показывает исследовательский характер самой работы. То есть отражает незнание разработчиками подходящей совокупности критериев, необходимых для четкого дифференцирования вузов. Кроме того, сам способ взвешивания (расчета весовых коэффициентов) критериев показывает, что значимость предложенных разработчиками критериев им самим неизвестна. Можно сказать, что созданная методика предназначена для ранжирования вузов «любой ценой», без учета реальной важности критериев. Даже самая малозначительная характеристика может сыграть решающую роль, если разброс оценок по ней между вузами будет достаточно велик.

Естественно, что в данном случае, важную роль играет и умение экспертов различать внутренние уровни шкалы оценивания, то есть обоснованно выставлять оценки «2», «3» и «4», что вызывает сомнения, учитывая привычку оперирования преподавателями пятибалльной оценкой своей работе. Необходимым дальнейшим шагом, не указанным в описании исследования, является многостадийное совершенствование шкалы путем вербализации численных оценок. Например, введением описания категорий «3 – один компьютер на десять преподавателей» или «4 – свободный доступ к компьютерам библиотеки без необходимости ожидания».

Таким образом, опросные листы, предложенные НРА «РейтОР» пригодны лишь для предварительной работы по конструированию метода сравнительного анализа вузов. А метод объединения оценок анкетируемых – вообще допустим только для создания иллюстративного материала к учебному пособию по социологии. И, ни в коем случае, для подготовки материалов сравнительного анализа, предназначенных для широкой общественности.

В отличие от опросных листов, предложенных НРА «РейтОР», анкеты, разработанные Центром качества ГУУ, ориентированы именно на исследование динамики изменения оценок по  показателям  качества университетского образования. Причем важную роль в списке направлений сбора данных играет анализ потребностей в совершенствовании различных аспектов системы обеспечения учебного процесса, в том числе, с учетом направлений подготовки.

Опросный инструментарий, используемый при построении анкет ГУУ, основан на трех основных формах регистрации признаков: ранжирование по частоте упоминания (по результатам ответов на вопросы с выбором пунктов), дифференцирование групп по набору индикаторов (по количеству ответов «да/нет» в тематических блоках), выделение доли критических ответов (по наличию в группе выраженных оценок «да, полностью / нет, абсолютно»). Такой подход позволяет исключить проблему «средних ответов», доминирующих в результатах для вопросов с интервальной шкалой, однако требует подробного знания набора и структуры критериев, по которым можно проводить сравнение.  

Иными словами, начальная постановка задач на исследование для НРА «РейтОР» и Центра качества ГУУ значительно различается. Для более адекватного сравнения результатов исследований желательно в будущем осуществить анкетирование студентов и преподавателей нескольких вузов схожего профиля сразу по опросным листам, совмещающим обе формы сбора данных.