Анализ международного опыта разработки критериев научно-медицинской экспертизы

Разработка эффективных критериев для проведения научно-медицинской экспертизы является важным условием для внедрения научно-обоснованных принципов принятия управленческих решений уполномоченными органами в области здравоохранения.

Изучение международного опыта свидетельствует о наличии специфических инструментов и определенного общепринятого перечня критериев оценки качества научных исследований в области здравоохранения.

К критериям оценки научных и исследовательских проектов финансируемых в рамках грантовых программ, организуемых Национальным институтом здоровья США (National Institute of Health, USA) [5] и его афилиированными центрами (Национальный институт рака и др.) относятся:

Критерий значимости ( Significance ), основанный на оценке проекта со следующих позиций:

- насколько важную проблему планируется изучать;

- если цели достижимы, как это будет способствовать развитию научных знаний и клинической практики;

- как результаты изучения будут влиять на концепции, методы, технологии, способы лечения, услуги и профилактические мероприятия, используемые в данной области медицины.

Критерий оценки методологического подхода ( Approach ), основанный на оценке проекта с позиций:

- насколько адекватно разработаны, интегрированы и мотивированы концептуальная и клиническая структура, дизайн, методы и анализ в отношении целей и задач проекта;

- насколько полноценно заявитель проекта распознал потенциальную проблемную область и рассмотрел все возможные альтернативы.

Критерий инновационности ( Innovation ) , основанный на оценке проекта с позиций:

- насколько проект оригинален и инновационен, т.е. например, насколько проект бросает вызов существующим парадигмам и клинической практике, направлена ли инновационная гипотеза на развитие определенной области.

- предполагает ли проект разработку новых концепций, подходов, методологий, инструментов и технологий в изучаемой области здравоохранения.

Критерий оценки кадрового потенциала ( Investigators ), основанный на оценке проекта с позиций:

- насколько соответствующе подготовлены исследователи для выполнения данного исследования;

- насколько заявляемый проект соответствует уровню опыта исследователей, вовлекаемых в проект;

Критерий оценки среды проекта (Environment), основанный на оценке проекта с позиций:

- насколько научная среда вносит вклад в возможность достижения успешных результатов;

- какую извлекает пользу заявляемое исследование из научной среды проекта и вовлекаемой в проект популяции, или использует возможные пути сотрудничества;

- имеется ли подтверждение институциональной поддержки.

Согласно Инструкции «Оценка планируемых и завершенных научно-исследовательских и опытно-конструкторских разработок», разработанной Министерством здравоохранения Республики Беларусь (05 декабря 2006 года, Регистрационный № 175-1206)  предложен ряд критериев оценки планируемых и завершенных научно-исследовательских и опытно-конструкторских работ (НТП) в системе Минздрава Республики Беларусь [6].

Планируемые НТП оцениваются по трем направлениям: характеристика идеи темы НТП (критерий «новизна»), характеристика ожидаемого результата критерий «значимость для науки и практики»), характеристика исполнителей и вероятности положительного решения проблемы (критерий «объективность»).

Критерий «новизна» отражает наличие в ожидаемых результатах научной деятельности новых научных знаний, которые могут характеризоваться в пределах от уже известного (новизна отсутствует, идея темы общеизвестна -- оценивается в «0» баллов) до высокой (исследование проводится впервые в мире, планируется получить конкурентоспособный научный результат, соответствующий мировой новизне -- оценивается в 7–10 баллов). Промежуточное значение занимают показатели критерия «относительно высокая научная новизна» – характеризует планируемые темы НТП, выполняемые впервые в стране (оцениваются в 4–6 баллов) и «недостаточно высокая научная новизна», характеризующая исследования, новизна которых будет на уровне учреждения-исполнителя (оценивается в 1–3 балла).

Критерий «значимость для науки и практики» раскрывается через следующие показатели:

Показатель «степень воздействия ожидаемого результата на науку и практику», отражающий степень воздействия ожидаемого научного результата на науку, экономику, социальную сферу, практику здравоохранения, которое может быть: высоким – окажет кардинальное воздействие на дальнейшее развитие науки и практики (оценивается в 7–10 баллов), относительно высоким – окажет существенное воздействие на дальнейшее развитие науки и практики (оценивается в 4–6 баллов), недостаточно высоким (оценивается в 1–3 балла), значимость отсутствует – не будет иметь значения для развития науки и практики (оценивается в «0» баллов).

Показатель «актуальность планируемой НТП», отражающий предполагаемую степень соответствия идеи планируемой НТП запросам науки и практического здравоохранения. Этот показатель может быть высоким, если имеет первостепенное значение для науки и практики (оценивается в 7–10 баллов), относительно высоким, если исследование имеет важное значение для дальнейшего развития науки и практики (оценивается от 4 до 6 баллов), недостаточно высоким, если исследование имеет определенное значение для науки и практики (оценивается в 1–3 балла) или неактуальным, если планируемое исследование не соответствует запросам и задачам науки и практики (оценивается в «0» баллов).

Показатель «оценка уровня ожидаемого эффекта от внедрения», выражающийся в лечебно-профилактическом, социальном, экономическом и научном эффектах.

Лечебно-профилактический эффект характеризуется улучшением методов профилактики, диагностики и лечения заболеваний и выражается в снижении заболеваемости, сокращении сроков лечения, снижении инвалидности, смертности и т.п.

Социальный эффект характеризуется степенью влияния научных разработок на общественное здоровье и выражается в увеличении продолжительности жизни, естественного прироста населения, укреплении здоровья, повышении качества жизни, улучшении условий труда, охраны окружающей среды и повышении качества медицинского обслуживания.

Экономический эффект отражает снижение затрат при оказании медицинской помощи и повышение производительности общественного труда, в том числе получение прямой экономии от освоения научных разработок в медицине и здравоохранении, выпуска более эффективных лекарственных средств и медицинской техники, увеличения импортозамещения и экспорта технологий и разработок.

Научный эффект характеризуется уровнем прироста новой научно-медицинской информации (знаний), полученной в ходе выполнения разработки.

Каждый из этих видов эффекта оценивается в пределах от 1 до 10 баллов в зависимости от предполагаемого уровня, значимости и масштаба внедрения. Отсутствие эффекта от внедрения, или указание, что он не планируется, оценивается в 0 баллов

При наличии нескольких видов эффекта в сумме эффект от предполагаемого внедрения не должен превышать 10 баллов. При этом для фундаментальных НИР показатель «оценка уровня ожидаемого эффекта от внедрения» может быть исключен из анализа и, соответственно, из суммы баллов.

Критерий «объективность» раскрывается через следующие показатели:

Показатель «методический уровень и материально-техническая база планируемого исследования», характеризующийся степенью научной обоснованности ожидаемых результатов: оценку методического уровня предполагаемого исследования и материально-технической базы исполнителя (с градацией «высокий», «относительно высокий», «недостаточно высокий», «низкий», оцениваемых от 10 до 0 баллов).

Показатель «квалификация основных исполнителей» дифференцирует исполнителей по теме исследования на соответствующих и не соответствующих уровню планируемого исследования (да, нет).

Показатель «наличие задела» отражает наличие положительных результатов, подтверждающих правильность выбранного направления, наличие публикаций по теме исследования и т.д. и оценивается с градацией от 10 до 0 баллов.

Показатель «обоснованность сроков выполнения НТП»отражает обоснованность сроков выполнения планируемой НТП (сроки занижены, обоснованы, завышены). Показатель оценивается качественно (да, нет) и, если возможно, с указанием % занижения или завышения.

Показатель «финансовая обоснованность НТП» отражает степень финансовой обоснованности планируемой темы НТП (стоимость занижена, обоснована, завышена). Показатель оценивается качественно (да, нет) и, если возможно, с указанием % занижения или завышения.

Оценку планируемых НТП на первом этапе осуществляют Ученые советы организаций--исполнителей. После получения положительного заключения Ученого совета по месту исполнения планируемая НТП проходит экспертизу в одной из экспертных комиссий при Ученом медицинском совете МЗ РБ. Каждый эксперт экспертной комиссии выставляет балльные оценки на каждое из рассматриваемых НТП. После этого данные суммируются по каждому критерию и усредняются, что позволяет нивелировать субъективизм отдельных экспертов по тем или иным критериям. Рекомендуются к планированию темы НТП, набравшие высокую или удовлетворительную сумму баллов по всем оцениваемым критериям.

Оценка завершенных НТП осуществляется в баллах по следующим критериям: критерий «новизна», критерий «значимость для науки и практики», критерий «доказательность и точность».

Критерий «новизна»отражает наличие в полученных результатах новых научных знаний (новой научной информации), новизны технологий, которые могут характеризоваться по уровню новизны по следующим градациям: «высокая» – результаты исследования имеют мировую новизну, нет аналогов в мировой науке и практике, наличие изобретений и патентов (оцениваются в 7–10 баллов), «относительно высокая» – новизна на уровне республики, наличие рацпредложений (оценивается в 4–6 баллов), низкая – новизна соответствует уровню отдельного НИО (оценивается в 1–3 балла).

В темах НТП, не являющихся охраноспособными, вместо изобретений (патентов) и рацпредложений уровень новизны характеризуется такими результатами, как разработка нормативно-правовых, нормативно-технических и инструктивно-методических документов, утвержденных на уровне республики или отраслевого министерства.

Критерий «значимость для науки и практики» раскрывается через следующие показатели:

Показатель «степень научной значимости».Показатель отражаетстепень воздействия полученного научного результата на развитие науки, научных направлений и научных школ, которое может быть: «высокое» – кардинально влияющее на дальнейшее развитие науки в сфере исследования (оценивается в 7–10 баллов), «относительно высокое» – существенно влияющее на дальнейшее развитие науки в сфере темы исследований (оценивается в 4–6 баллов), «низкое» – оказывающее некоторое позитивное влияние на развитие науки в сфере исследования (оценивается в 1–3 балла). При оценке завершенных НТП по данному критерию принимают во внимание наличие публикаций в зарубежной печати, выступление на зарубежных научных форумах и т.д.

Показатель «значимость для практики».Показатель отражаетстепень (масштаб) воздействия полученного научного результата на практику: здравоохранение, социальную сферу, экономику, которое может быть: «высокое» – кардинально влияющее на практику в сфере здравоохранения (оценивается в 7–10 баллов), «относительно высокое» – существенно влияющее на практику в сфере здравоохранения (оценивается в 4–6 баллов), «низкое» – оказывающее некоторое позитивное влияние на практику в сфере здравоохранения (оценивается в 1–3 балла).

Показатель «уровень и объемы внедрения».Показатель отражаетмасштаб и уровень внедрения результатов НТП, наличие и величина экономического, социального, лечебно-профилактического эффекта в народном хозяйстве или в практике здравоохранения. Этот критерий может быть«высокий» – широкое внедрение в республике со значительным экономическим, социальным, лечебно-профилактическим эффектом (оценивается в 7–10 баллов), «относительно высоким» – внедрение в нескольких организациях с экономическим, социальным, лечебно-профилактическим эффектом (оценивается в 4–6 баллов), «низким» – внедрение в одной организации без значимого экономического, социального, лечебно-профилактического эффекта (оценивается в 1–3 балла). При оценке завершенных НТП по данному критерию принимают во внимание имеющиеся акты внедрения, участие в международных и республиканских выставках, серийный или экспериментальный выпуск лекарственных препаратов, приборов и изделий медицинского назначения, основанных на результатах проведенных исследований, и т.д.

Критерий «доказательность и точность».Этот критерий раскрывается через следующие показатели:

Показатель «степень доказательности результатов».Этот показатель характеризует научную обоснованность полученных результатов исследований: статистическую достоверность и воспроизводимость результатов исследований, достоверность и надежность использованных методов статистической обработки, наличие групп сравнения, адекватных контролей и рандомизации, методический уровень и документированность исследований, проведение клинических исследований в рамках доказательной медицины. Несмотря на то, что степень доказательности результатов может изменяться в пределах от неопределенности до воспроизведения и применения на практике, при оценке завершенной НТП по данному критерию оценка осуществляется только по качественному показателю «соответствует принятым стандартам» или «не соответствует принятым стандартам».

Показатель «соответствие плану НТП». Показатель характеризует соответствие положений, включенных в отчет НТП и полученных результатов календарному плану и задачам плана НТП. Оценивается по двум параметрам: «соответствует плану НТП» или «не соответствует плану НТП».

Оценку завершенных (промежуточных) НТП по данной балльной шкале на первом этапе осуществляют Ученые советы организаций-исполнителей. После получения положительного заключения Ученого совета по месту выполнения работы каждая завершенная НТП проходит экспертизу в одной из экспертных комиссий при Ученом медицинском совете МЗ РБ. Эксперты выставляют балльные оценки на каждое из рассматриваемых НТП. После этого данные суммируются по каждому критерию и усредняются, что позволяет нивелировать субъективизм отдельных экспертов по тем или иным критериям. Подлежат принятию завершенные НТП, получившие в высокую и удовлетворительную сумму баллов по всем оцениваемым критериям, а также получившие положительные оценки по критерию «доказательность и точность проведенных исследований» и по критерию «соответствие плану НТП».