Комплексная общественная экспертиза как новая форма оценки эффективности реализации образовательных программ

Как показывает опыт реализации систем оценки деятельности образователдьных учреждений по реализации программ образования детей, подростков и молодежи, материалом для решений об оценке являются результаты проведения слушаний в ходе комплексной общественной экспертизы. Комплексная общественная экспертиза как особая форма оценки крупных социальных проектов на сегодняшний день еще малоизвестна, но у профессионалов, знакомых с ее технологией, она зарекомендовала себя как наиболее эффективный способ оценки результатов и прогноза последствий реализации крупных социально-экономических программ.

Отличительной чертой описываемой экспертизы оказывается всесторонность оценки. Это достигается за счет того, что в обсуждении предмета экспертизы принимают участие представители всех общественных профессиональных позиций. Дело в том, что всякий крупный социальный проект затрагивает интересы всех слоев общественного целого в региональном или глобальном масштабе. Полнота представительства всех точек зрения и социальных позиций, принимающих участие в экспертизе, становиться главным условием ее успешности и необходимым требованием ее организации.

Наиболее адекватной формой для комплексной общественной экспертизы оказалась “организационная игра”, которая в свою очередь является одной из ветвей развития организационно-деятельностных игр и в целом игрового движения в методологии. Основным свойством организационной игры, делающим ее столь эффективной формой комплексной экспертизы, является возможность и даже необходимость гласного и открытого обмена мнениями по поводу общего для всех предмета обсуждения со стороны представителей самых разных профессиональных точек зрения.

Для создания эффективной организационной формы комплексной общественной экспертизы необходимо неукоснительное практическое соблюдение некоторых принципов проектирования, подготовки и проведения этого мероприятия. Опыт организации и проведения организационных игр в первые годы развития этого движения позволил сформулировать шесть методологических принципов разработки игровых форм. Следование этим принципам позволяет создать такие сюжеты и сценарии игры, которые оказываются способными вовлечь участников в игровой процесс при сохранении всей серьезности и глубины анализа обсуждаемых проблем.

Поэтому, при проектировании, подготовке и проведении собраний участников Образовательной программы с целью осуществления комплексной экспертизы результатов программной деятельности необходимо практически реализовать следующие методологические принципы организации:

Принцип полноты имитации сферы деятельности. Согласно этому принципу, проектируя игровую форму, в сюжете должна быть представлена вся структура взаимодействий в общественной профессиональной сфере, содержание процессов которой имитируется в игре. Для различных видов организационных игр: ролевых, командных, позиционных - могут быть использованы самые разнообразные средства имитации. Что касается экспертизы, то следует придерживаться правила приглашения представителей общественных сфер, непосредственно участвующих в кооперации, обеспечивающей основные (ядерные) процессы имитируемой сферы. Иными словами, для осуществления экспертизы ничего не надо имитировать. Участники экспертизы приглашаются для “критического проигрывания” той деятельности, которой они реально занимаются. Это правило актуально для всех видов организационных игр, но для игровой организации экспертизы оно актуально в наибольшей степени.

Принцип проблемности взаимодействий участников. Согласно этому принципу в проекте игры должен быть определен замысел игры,то основное противоречие или конфликт, который участники должны разрешить в ходе игры. Замысел может быть скрыт от участников или само скрытие проблемной идеи организатора будет выступать в качестве замысла. Замысел может быть открыто демонстрирован перед лицом участников как противоречие или парадокс требующий разрешения. То есть форма определения “содержательного конфликта” может быть самой разнообразной, но она всегда должна быть. Скажем резче: создатель организационной игры, не могущий сформулировать ее замысел не сможет провести игру. То что он сделает может оказаться чем угодно: от примитивного тренинга и упражнений до деловой имитационной или операционной игры - однако эта игра никогда не будет организационной. Так как не имея ясно осознаваемого замысла, нельзя реализовать следующий принцип.

Принцип ситуативной организации рабочих процессов и эпизодов игры. Согласно этому принципу, имея сюжет и замысел и стараясь их реализовать в конкретном проведении каждого эпизода, надо учитывать конкретные условия взаимодействий участников и следовать ситуативной необходимости управления игровыми процессами, иначе, следовать принципу “здесь и теперь”. Реализация этого принципа отражается в сценарии игры, создаваемого до начала проведения и ситуативно изменяемого в ходе игры. Измениться может не только запланированный сценарий, но и сюжет и даже замысел игры, если это необходимо по результатам текущего организационного анализа игровых процессов. Организационные игры получили свое название по этому принципу, так как принцип непрерывной ситуативной организации и его реализация делает игру живой и увлекательной для участников. Ситуативная организация сценария игры создает условия формирования психологического феномена “игрового отношения” - раскрепощения “свободной игры свободных творческих сил”.

Принцип рефлексивности обсуждения предметов и процессов, включенных в игру. Согласно этому принципу все, что происходит в игре, включая и собственно игровые действия вплоть до организационных действий ведущего игры, должно быть подвергнуто критике и анализу. Этот принцип реализуется в постоянной поддержке установки на всестороннюю критику и понимание чужой позиции участниками игры. С этой целью весь ход организационной игры делиться на циклы, каждый из которых включает три режима работы: творческий поиск решения задачи или выполнения задания в рабочих игровых группах, общее обсуждение результатов групповых решений, рефлексия работы, проведенной в первом и втором режимах. В зависимости от длительности игры циклы могут быть разной продолжительности (в игровых этюдах весь цикл может длиться 15 мин.). Опыт проведения полноценных игр позволяет говорить о большей оптимальности дневных циклов. Для комплексной экспертизы в силу ее полипрофессионализма требование поденных циклов становиться достаточно жестким по многим, в том числе, и психологическим причинам.

Принцип гуманности взаимоотношений в ходе взаимодействий участников. Согласно этому принципу требования критичности, конфликтности, нелицеприятности, аналитичности, публичности и гласности взаимодействий необходимо компенсировать созданием положительного эмоционально-аффективного тона доброжелательности отношений друг к другу. Рабочие процессы в организационных играх проходят очень интенсивно и жестко, а если осуществляется комплексная экспертиза, то эти аффективные свойства взаимодействий усиливаются из-за необходимости отстаивать свою точку зрения перед лицом других и нередко противоположных мнений. Атмосфера доброжелательности создается организаторами игры за счет постоянного обращения внимания всех участников на ценностное единство участников экспертизы при различии мнений и взглядов. Различия надо выявить, понять суть противоречий и оппозиций для точного прогноза развития Программы и принятия стратегических решений, сохраняя общие ценности.

Принцип полноты протокола и регистрации рабочих процессов в игре. Согласно этому принципу все рабочие процессы, промежуточные результаты, конечный продукт игры должны быть точно зафиксированы и стенографированы. Фиксация осуществляется, как минимум, в виде фонограммы или видеограммы. Стенограмма процессов необходима не только для анализа в ходе текущей рефлексии во время игры, но и для ретроспективного анализа всего хода игры по ее окончании. Вместе с тем, стенограмма оказывается наиболее адекватным представлением всего содержания организационной игры. Опять же, для комплексной экспертизы точность протокола оказывается принципиально важной для всего последующего развития Программы.

В настоящее время стандартной, распространенной и, пожалуй, единственной формой, оценки результатов, особенно для научно-технических программ, является независимая профессиональная экспертиза. Работа или программа направляется "эксперту", или "экспертной комиссии" (лучше, так называемой, вневедомственной комиссии) для проведения экспертизы работы и выдачи экспертного заключения. Собирается достаточное количество экспертных заключений (как правило, не более двух - трех) и на их основе координационная группа или какой-то другой орган координации готовит материалы экспертизы на утверждение Координационного Совета или другого органа принятия решения.

Процедура такой экспертизы была бы очень эффективной, если бы все эксперты и экспертные комиссии всегда оставались бы вне зависимости от каких бы то ни было условий своего собственного социального положения. Дело в том, что в профессиональных сообществах, несмотря на довольно сильную конкуренцию, существует практически непрерывная сеть референтных отношений, отношений симпатии и антипатии, отношений доверия и подозрительности. Исключить этот социальный контекст жизни отдельного эксперта или целой комиссии никогда до конца невозможно. Поэтому, даже при независимости точки зрения эксперта, экспертное заключение и оценка всегда оказываются зависимыми от огромного количества социальных факторов, как правило скрытых и скрываемых от внешней огласки.

Для того, чтобы избежать отрицательных последствий такой зависимости, факторы, влияющие на экспертное заключение, нужно сделать явными, а не скрытыми. Необходимо создать условия “публикации” и “гласования” факторов, определяющих ту или иную точку зрения. Для этого надо использовать психологический принцип: "Здесь и теперь". А это значит использовать форму организационной игры. То есть осуществлять экспертизу не только в присутствии автора конкретной работы (всех авторов, принимающих участие в Программе), но и давать экспертное заключение по всем правилам процедуры "защиты своей точки зрения", а значит гласно, публично и "глаза в глаза". Если же организовать такую "защиту" участниками Программы результатов своей работы перед лицом многих экспертных точек зрения и позиций других участников той же Программы, то получится комплексная экспертиза. А если ко всему этому добавить предложение участникам программы на время проведения экспертизы занять позиции той или иной дисциплины, или общественной сферы, то получиться комплексная общественная экспертиза.

Для полноценного осуществления процедур комплексной общественной экспертизы необходимо представление участникам содержания программной деятельности и социального контекста всей Программы. Такой контекст создается: во-первых, за счет представления всей возможной качественной и количественной информации о ходе реализации Программы и, во-вторых, за счет приглашения всех участников Программы в качестве независимых экспертов. Знание участниками контекста программной деятельности, определенность своей авторской и социальной позиции, предварительное понимание позиций других сотрудников Программы - все это позволяет организаторам экспертизы значительно оптимизировать ее ход. С другой стороны, масштабность и комплексность самой Программы позволяет, приглашая ее участников, практически обеспечить полноту представительства от всех профессиональных и общественных позиций.

По описанной выше технологии были проведены экспертизы оценок крупных государственных образовательных программ. Каждая экспертиза проектировалась как отдельная игра со своим замыслом, сюжетом и сценарием. Однако, все экспертизы имели общую характерную особенность: они были организованы как Слушания хода выполнения Координационных планов Целевых программ. Поэтому, не смотря на различия экспертиз, можно выделить общие для всех сценариев организационные особенности. Принципиальная структура экспертизы как “СЛУШАНИЙ” приведена на рис. 2..

Рис. 2. Принципиальная организационная структура комплексной общественной экспертизы.

Позиции комплексной общественной экспертизы:

“политики”, “священнослужители”, “философы”, “художники”, “ученые”, “дизайнеры”, “педагоги”, “медики”, “строители”, “коммерсанты”, “финансисты”, “правоведы”, “граждане” ..... ...... ...... ..... .....

Режимы работы:

1. Анализ в рабочих группах и выработка групповой точки зрения.

2. Обсуждение экспертных мнений на открытых слушаниях.

3. Принятие экспертных заключений и плановых решений.

Схема демонстрирует уровень и форму организации совместной деятельности участников экспертизы. Этой формой является коммуникация. Коммуникация в данном случае следует понимать в узком и специфическом понимании этого понятия. Коммуникация рассматривается в данном контексте как равноправное взаимодействие людей, занимающих свои индивидуальные позиции и выражающие свою точку зрения на общий для всех предмет обсуждения. Общий предмет обсуждения и равноправность мнений есть две определяющие характеристики коммуникации в собственном смысле слова. Общим предметом обсуждения в нашем случае является Программа “ПОМОЩЬ” и результаты ее реализации к конкретному моменту.

Каждый участник экспертизы является сотрудником Программы и автором какой то разработки и представляет результаты своей работы на суд общего собрания. Одновременно каждый участник становится независимым экспертом и занимает (по сюжету) определенную профессиональную позицию. С точки зрения выбранной позиции он оценивает, как свою работу, так и работы других сотрудников Программы. Таким образом, на экспертизе происходит многосторонний взаимообмен мнениями и взглядами на существо проблем и задач программной деятельности людей, которые непосредственно заинтересованны в согласованности и эффективности деятельности всех и каждого сотрудника Программы.

Большинство участников комплексной экспертизы являются членами Координационного совета. В силу этого мнение высказанное на экспертизе приобретает силу голоса в процедуре принятия решений. Все эти свойства организации комплексной общественной экспертизы значительно повышают уровень ответственности каждого участника за высказанное мнение. Замысел комплексной экспертизы заключается в том, чтобы “провоцировать” участников на высказывание определенных мнения с точки зрения занимаемой позиции и на настойчивость в отстаивании этой точки зрения. Только в этом случае коммуникация приобретает действительно проблемный и прогностический характер.

Специально для усиления прогностичности взаимодействий участников Программы в Координационный совет в качестве действительных членов приглашаются “свободные эксперты”. Это означает, что этот человек в Программе не несет ответственности за реализацию какого либо направления работы, но его мнение имеет равную силу при принятии решения. Эти члены совета приглашаются на все совещания Совета, в том числе, и посвященные экспертизе. Кроме того, для участия в экспертизе приглашаются свободные граждане, общественные и государственные деятели, профессионалы и обыватели. Все приглашенные и согласившиеся участвовать в комплексной экспертизе объявляются независимыми экспертами, мнение которых равноценно для решений по результатам оценки и прогноза реализации Программы.

В заключение описания технологии комплексной общественной экспертизы следует специально обратить внимание еще на одну особенность ее организации. Эта особенность характерна для всех форм организации совместной деятельности, построенных по технологии “организационных игр”. Участие в комплексной экспертизе проходит “с отрывом от производства”. Для обеспечения такого режима, как правило, многодневной работы (от трех до семи дней) используется организация так называемых “выездных совещаний Координационного совета”. В замкнутых пространствах пансионатов проще всего реализовать принцип “здесь и теперь” и принцип “интенсивности взаимодействий (как правило рабочий день длится не менее 8-ми часов, а иногда доходит до 12 часов сосредоточенной работы). Помимо этого, условия совместной жизни, неформального общения позволяют достаточно легко реализовать “принцип гуманности взаимоотношений” и снимать лишнее эмоциональное напряжение, возникающее в ходе серьезных обсуждений важнейших проблем реализации Программы.

Все перечисленные выше особенности комплексной экспертизы требуют от организаторов и Координационного совета высокого уровня подготовки к каждой экспертизе. Разрабатываются оргпроект экспертизы, программа и подробный сценарий проведения слушаний, форма приглашения участников.

Приведем пример проведения комплексной общественной экспертизы. В первый раз комплексная экспертиза была организована в 1992 году. Комплексная общественная экспертиза в г. Обнинске Калужской области, проходившая с 15 по 17 сентября, была подготовлена и проведена для оценки промежуточных результатов по "Научной части программы Министерства образования Российской Федерации в Государственной республиканской программе "Дети Чернобыля". Анализ структуры Тематического плана научных исследований, по которому осуществлялось распределение грантов, позволил организаторам экспертизы в качестве замысла игры предложить идею полной ревизии всей структуры программы "Дети Чернобыля", выявляя в ходе обсуждения противоречие, заложенное в самом названии обсуждаемой программы. Напомним название: “научная часть программы Министерства в Республиканской программе...”. Это название отражает внутреннее противоречие структуры программы. Действительно, если есть научная часть республиканской программы, то указание на программу министерства является лишним (министерство лишь один из исполнителей в республиканской программе). С другой стороны, если есть самостоятельная программа Минобразования России, то научная часть - элемент этой программы и указание на частичность в республиканской программе оказывается в свою очередь лишним (министерская программа является в этом случае самостоятельной в рамках республиканской и научная часть существует только внутри нее). Структура оказывается внутренне противоречивой из-за невозможности нормальной соорганизации "части" и "целого". В главе об управлении мы уже говорили о несуразностях межведомственных отношений, связанных с программным методом.

В данном случае дело не просто в несуразности формулировок. При таком распределении ответственностей субъектов программирования возникает серьезная организационная проблема: обеспечение существования программных, областей, подпрограмм и отдельных направлений, иными словами, проблема обеспечения целостности Программы. Кроме того экспертируемая программа могла стать материалом обсуждения серьезной проблемы системно-структурного анализа вообще. Дело в том, что в методологии до сих пор не разрешено "существенное противоречие" между понятиями структурного элемента и части целого. Эту проблему организаторы замыслили и "подложили" участникам в качестве основной проблемной идеи экспертизы как организационной игры.

Весь процесс Экспертизы был организован как сценарий развития игровых эпизодов по сюжету “открытых общественных слушаний:

· Введение. - (доклады Главного организатора (Тюков А.А.) и научного руководителя Программы (Иваннников В.В.);

· Самоопределение. в структуре общественных экспертных позиций - позиции представителей сфер управления (государственные чиновники), философии (философы), науки (ученые), здравоохранения (врачи), образования (учителя), права (юристы), проектирования (архитекторы), а также представителей общегражданской позиции (граждане);

· Делегирование представителей из групп профессиональных позиций в группу гражданской позиции, которая специально выделена в отдельную позицию;

· Слушание докладов по научным проектам и экспертных заключений (первое и второе слушания по группам проектов - Председатель: проф.В.А.Иванников);

· Организационная рефлексия и решение об экспертизе программы;

· Экспертиза программы в целом;

· Итоги и выводы о программе "Дети Чернобыля".

Вся работа была организована в течение трех дней с распределением эпизодов по сценарию. Таким образом за 18 с половиной часов Программа в целом и каждый проект получили по девять коллективных экспертных заключений (в соответствии с количеством экспертных позиций), представленных авторам и всем участникам экспертизы в ходе гласного и открытого обсуждения научной значимости и практической ценности каждой исследовательской и инновационной разработки.