Статья 'Оценочные системы и подходы к анализу влияния результатов научных исследований на экономику и общество: международный опыт' - журнал 'Международное право и международные организации / International Law and International Organizations' - NotaBene.ru
по
Меню журнала
> Архив номеров > Рубрики > О журнале > Авторы > Тематическая структура журнала > Требования к статьям > Политика издания > Редакция > Порядок рецензирования статей > Редакционный совет > Ретракция статей > Этические принципы > О журнале > Политика открытого доступа > Оплата за публикации в открытом доступе > Online First Pre-Publication > Политика авторских прав и лицензий > Политика цифрового хранения публикации > Политика идентификации статей > Политика проверки на плагиат
Журналы индексируются
Реквизиты журнала
ГЛАВНАЯ > Вернуться к содержанию
Международное право и международные организации / International Law and International Organizations
Правильная ссылка на статью:

Оценочные системы и подходы к анализу влияния результатов научных исследований на экономику и общество: международный опыт

Попова Светлана Михайловна

кандидат политических наук

доцент, Центр сравнительного правоведения, Университет МГУ-ППИ в Шэньчжэне

518172, China, Guangdong Province, Shenzhen, International University Park Road, Dayun New Town, Longgang District, 1

Popova Svetlana Mikhailovna

PhD in Politics

Associated professor, Center for Comparative Law, Shenzhen MSU-BIT University

518172, China, Guangdong Province, Shenzhen, International University Park Road, Dayun New Town, Longgang District, 1

condrieu2020@gmail.com
Другие публикации этого автора
 

 
Яник Андрей Александрович

кандидат технических наук

ведущий научный сотрудник, Институт демографических исследований ФНИСЦ РАН

119333, Россия, г. Москва, ул. Фотиевой, 6, корп.1, оф. 1

Yanik Andrey Aleksandrovich

PhD in Technical Science

Leading Research Associate, Institute for Demographic Research of the Federal Center of Theoretical and Applied Sociology of the Russian Academy of Sciences

119333, Russia, g. Moscow, ul. Fotievoi, 6, korp.1, of. 1

cpi_2002_1@yahoo.co.uk
Другие публикации этого автора
 

 

DOI:

10.7256/2454-0633.2021.4.36835

Дата направления статьи в редакцию:

06-11-2021


Дата публикации:

13-11-2021


Аннотация: Систематическая оценка итогов научной деятельности, финансируемой государством, включая анализ влияния результатов исследований на развитие экономики и общества, стала привычной практикой государственного управления сектором науки. Фактически речь идет о получении доказательных данных и обратной связи, необходимых для принятия решений о степени эффективности действующих управленческих процедур и выборе путей (в том числе юридических) для их совершенствования. Исключительная сложность и динамичное изменение объекта анализа (наука, производство научных знаний) стимулирует постоянный поиск во всем мире новых подходов для получения качественных и достоверных оценок результатов научных исследований. С этой точки зрения, систематический мониторинг и анализ релевантного зарубежного опыта представляет интерес для теории и практики управления научным развитием, поскольку позволяет учесть ошибки и достижения других стран при разработке и совершенствовании национальных оценочных систем.   Статья посвящена анализу ряда систем (главным образом, европейских) и подходов к оценке вклада наук в социально-экономическое развитие. Источниковую базу составили научные публикации, правовые акты, официальные материалы. Помимо общенаучных методов исследования, были также использованы концептуальные подходы теории изменений (например, представления о results chain) и теории государственного аудита. Показаны особенности и проблемы анализируемых оценочных систем. Впервые показано, что обширное и разнородное проблемное поле, связанное с измерением вклада наук, перспективно рассматривать в координатах теории государственного аудита, различающей системы внешнего и внутреннего контроля. Сделан вывод, что особенности функционирования науки не позволяют без ущерба для качества получаемых выводов разделить контуры внутреннего и внешнего аудита результатов «научного производства». Совершенствование оценочных систем – постоянный процесс, связанный с коэволюцией науки и научной политики.


Ключевые слова:

Управление наукой, Оценка исследований, Государственный аудит, Аудит эффективности, Научная политика, Вклад науки, Влияние исследований, Оценка влияния, Теория изменений, Цепочка результатов

Abstract: Systematic evaluation of the results of research activity funded by the state, including analysis of the impact of the results of research upon the development of the economy and society, has become common practice in governance of the science sector. It pertains to acquisition of evidence-based data and feedback necessary for decision making on the effectiveness of the existing governance techniques and selection of the methods (including legal) for their improvement. The exceptional complexity and dynamic change of the object of analysis (science, production of scientific knowledge) encourages to constantly search for new approaches worldwide for acquiring qualitative and accurate evaluations of the results of scientific research. From such perspective, systematic monitoring and analysis of the relevant foreign experience is advantageous for the theory and practice of governing scientific development, as it allows taking into account the mistakes and achievements of other countries with regards to development and improvement of their evaluation systems. Analysis is conducted on a range of systems (mainly European) and approaches towards evaluation of the contribution of sciences to socioeconomic development. The author reveals the peculiarities and flaws of the evaluation system under study. This article is first to demonstrate that the vast problematic field associated with the assessment of the contribution of sciences, should be viewed within the framework of the theory of state audit, which distinguishes between external and internal systems of monitoring. The conclusion is made that the peculiarities of functionality of science do not allow demarcating the contours of internal and external audit of the results of “scientific production” without compromising the quality of the acquired conclusions. The improvement of evaluation systems is a continuous process, associated with the co-evolution of science and scientific policy.


Keywords:

Science governance, Research evaluation, Public audit, Performance audit, Science Policy, Science contribution, Research impact, Impact assessment, Theory of change, Results chain

Введение

Статья посвящена анализу современного зарубежного (главным образом, европейского) ландшафта наиболее распространенных систем оценивания вклада наук в социально-экономическое развитие, связанных с ними исследовательских подходов и актуальных проблем регулирования и принятия решений.

Систематическая, действующая в рамках установленных норм и правил оценка научных результатов объективно необходима как самим ученым [1-2], так и структурам, финансирующим научные исследования, в первую очередь, государству (см., например [3]) и международным организациям развития. По аналогии со становлением в современных государствах систем внутреннего и внешнего государственного аудита, необходимых для целенаправленного управления развитием национальной экономики и общества [4], в области измерения и оценки вклада наук также можно выделить два контура. Первый контур связан с внутренним контролем, когда экспертиза ценности результатов исследований осуществляется самим научным сообществом и является одной из специфических функций науки как социального института. Второй – с внешним контролем (аудитом), который осуществляется с целью определить эффективность и результативность «научного производства» и, соответственно, дать оценку деятельности органов государственной власти в сфере управления развитием науки.

Институционально-правовое становление и эволюция внешнего и внутреннего контура оценки научных результатов происходили неравномерно. На протяжении столетий (первые национальные академии наук возникли в XVI-XVII вв.) доминировали процедуры саморегулирования, когда оценку в форме экспертизы осуществляли сами ученые по принципу «равные среди равных» (peers) в «храме науки» [5].

По мере увеличения объемов бюджетного финансирования (сначала из казны монархов, потом – из средств налогоплательщиков) стали возникать и развиваться системы внешней оценки с различными инструментами измерения результатов научной деятельности и степени их полезности для государства и общества. Задача формирования действенного внешнего контроля эффективности бюджетных расходов на научные проекты стала особенно актуальной с середины ХХ века, когда наука столкнулась с объективными ограничениями в финансовых возможностях государства и необходимостью получать согласие общества на пределы своего развития.

Согласно последним доступным данным (начало 2020 г.) расходы только государств-членов ОЭСР на исследования и разработки, включая фундаментальные изыскания, составили 1,564 трлн. долларов США в текущих ценах [6, p.10]. Рост научных бюджетов сопровождается активным развитием внешнего контура управления наукой и государственной научной политики (целенаправленное регулирование институционализированного производства знания). Необходимым элементом системы управления является аудит эффективности расходования средств на научные исследования с постоянным совершенствованием оценочных методов и процедур, ориентированным на удовлетворение динамично меняющихся интересов органов власти, различных стейкхолдеров, социальных групп и общества в целом.

Таким образом, систематическое измерение и оценивание научных результатов решает две взаимосвязанные задачи: выступает регулятором отношений внутри научного сообщества (помогает поддерживать особую систему норм, должный порядок и иерархичность на основе меритократической модели) и обеспечивает легитимацию в глазах общества права ученых претендовать на часть общественных ресурсов для осуществления своей специфической деятельности.

Очевидно, что содержание и задачи внутреннего и внешнего аудита эффективности функционирования науки различаются, поскольку в первом случае речь идет об анализе ценности результатов исследований для развития системы научных знаний (вклад в науку), а во втором – об обоснованности и разумности использования бюджетных средств, которая измеряется путем определения видов и количества научных «продуктов», а также продуцированных результатами научных исследований полезных эффектов по отношению к единице финансирования.

Источники и подходы

Анализ современных зарубежных систем измерения качества научных исследований был ограничен периодом 2010-2020, рамки которого формально заданы Стратегией экономического развития Europe 2020 [7] и Рамочной программой ЕС Horizon 2020 [8] по развитию научных исследований и технологий в Европейском научном пространстве (European Research Area, ERA).

Источниковую базу исследования составил массив мультиязычных публикаций, в который вошли:

- научные публикации, индексированные в системах цитирования WoS, SCOPUS, RCSI, РИНЦ;

- специализированные периодические издания, в частности, таких издательств, как Oxford University Press (Research Evaluation, Science and Public Policy), Cambridge University Press (PS: Political Science & Politics), Willey-Blackwell (Policy Studies Journal, Journal of the Association for Information Science and Technology), Elsevier (Research Policy), Taylor & Francis (Journal of Responsible Innovation), SAGE (American Sociological Review, Evaluation, Political Studies), Policy Press (Evidence and Policy);

- отчеты и рабочие материалы экспертных групп, в том числе, изданные MIT Press, OECD Publishing, Oxford University Press, RAND, SAGE, Springer;

- руководящие принципы, лучшие практики и примеры оценки финансируемых ЕС научно-исследовательских и инновационных проектов;

- правовые акты, материалы, отчеты, руководства зарубежных органов государственного управления по тематике, релевантной исследованию.

Помимо инструментария теории государственного аудита и общенаучных методов исследований, для решения задач были также использованы концептуальные подходы теории изменений.

Современные системы измерения эффективности или оценки социально-экономического воздействия каких-либо достижений (в том числе, результатов научных исследований) по большей части используют представления о «цепочке результатов» (results chain), иными словами, логической модели достижения результата, которая восходит к практике оценки международных программ и проектов развития еще начала 1960-х годов [9]. Благодаря ее простоте и широкому распространения такая модель стали основным средством маркировки [10] метрик эффективности и меры влияния совершенных действий (Рис. 1):

Рисунок 1. Логическая модель оценивания результатов действий

Помимо начальных звеньев цепочки – Input (вложение ресурсов) и Activity (собственно действия), в рамках модели отражены три стадии измерения эффекта:

- Output, или отдача – это непосредственный результат действий (что получилось);

- Outcome - итоговая оценка полученного результатов (решение значимой проблемы, которое стало возможным в итоге получения именно этого результата);

- Impact, или воздействие (или влияние) – вызванные научным результатом значительные и устойчивые позитивные изменения в жизни людей, в сообществе, в мире, в окружающей среде и пр.

Научное сообщество на протяжении столетий использовало ту же логику (в иных терминах) для оценки качества исследований, поскольку, к примеру, задача научной экспертизы результатов исследований как раз и заключается в оценивании теоретического и практического значения полученного научного результата (outcomes) и возможных позитивных изменений в жизни общества (impact).

Идея выявления и оценки «цепочки результатов», возникающих в итоге реализации самых различных проектов, в силу своей простоты и логичности стала широко востребованной у лиц, принимающих решения. Как следствие, к настоящему времени возникла целая сфера профессиональной деятельности, связанная с «производством» и исследованием импактов (импактология), которая включает, помимо прочего, импакт-менеджеров и консультантов, технических писателей, специализирующихся на подготовке импакт-кейсов, компании, разрабатывающие специализированное программное обеспечение для измерения импакта и разного рода обучающие курсы [11].

Помимо этого, за рубежом достаточно давно сформировался спрос на импакт как естественную меру эффективности проводимой научной политики с точки зрения повышения научной конкурентоспособности, приращения богатства, роста производительности и социального благополучия. Одним из пионеров на практике стало Соединенное Королевство, где с 2014 г. критерий позитивных изменений в жизни общества (социально-экономических последствий) стал определяющим при оценке окупаемости бюджетных ассигнований на науку, которые государство рассматривает как инвестиции [12].

В рамках «культуры импакта» современная наука обязана постоянно демонстрировать государству и обществу запланированное «приращение благ», однако при этом ничего не говорится о выборе адекватных инструментов измерения импакта, учета неизбежного временного лага между произведенным эффектом и проведенным исследованием, которое, возможно, его вызвало, а также выяснением всех обстоятельств того, в какой степени исследование реально стало значимой причиной произведенных изменений [13-14]. Характерный пример – история возникновения «осязаемой пользы» для экономики и общества от теории относительности. Как известно, в настоящее время точность геопозиционирования обеспечивается, помимо прочего, тем, что на аппаратном уровне учитывается эффект релятивистского замедления времени при прохождении сигналов от навигационных спутников. Математически эта задача была решена А. Эйнштейном еще в 1905 году при создании специальной теории относительности. Однако понадобилось более 100 лет, чтобы этот результат превратился в технологическую инновацию (внедренное новшество), используемую в каждом смартфоне и GPS-навигаторе.

Оценочные системы

Описание ряда зарубежных систем внешней систематической оценки качества научных исследований, успешно действующих в настоящее время, приведены в Таб. 1.

Таблица 1. Примеры зарубежных систем внешней оценки качества научных исследований

Название и назначение

Описание

Research Excellence Framework (REF) – Информационно-аналитическая платформа оценки качества научных исследований в университетском секторе Соединенного Королевства на основе рейтинговой классификации

Первый вариант: Research Selectivity Exercise (RSE) был внедрен в 1986 г. в рамках политики «тэтчеризма» по ограничению бюджетных расходов (повторен в 1989) и ознаменовал внедрение селективной системы государственного финансирования учреждений высшего образования. Следующая группа раундов оценки: Research Assessment Exercise (RAE) состоялась в 1992, 1996, 2001 и 2008 гг. В итоге, произошла трансформация от системы фондирования к системе оценки качества научных исследований на основе принципа результативности: Research Excellence Framework (REF) в 2014 г. В рамках REF2014, по сравнению с RAE, переработана система классификации научных дисциплин: число дисциплин сокращено с 67 до 36, а количество групп специальностей - с 15 до 4. Сокращение числа дисциплин сопровождалось детальной проработкой особенностей их предметных областей, а также стандартизацией критериев, запрашиваемых данных и процедур. Последний раунд экспертизы занял четыре года: в 2011-2012 гг. были сформированы панели экспертов, разработаны критерии, протоколы и практики их работы; в 2012-2013 гг. учреждения высшего образования собрали, подготовили и предоставили необходимые данные; в течение 2014 г. свыше 1100 отобранных ранее специалистов провели экспертизу представленных материалов. При суммировании итоговой оценки (score) были использованы: показатель «результативности» в форме непосредственных практических результатов от научных отчетов до монографий и от научных докладов до образовательных курсов (output) с общим весом 65%, «вклада» - уровня воздействия результатов на состояние предметной области (impact) с весом 20% и «среды» - данных о контексте научного исследования (environment) – с весом 15%. Завершение очередного раунда было запланировано на 2021 г., но в связи с обстоятельствами пандемии COVID-19 публикация итогов перенесена на май 2022 г. [15-16].

StandardEvaluationProtocol (SEP) - Протокол внешней оценки научных исследований в университетах и организациях науки Нидерландов на основе экспертной системы и самооценки

В настоящее время в Нидерландах действует пятый по счету протокол (система правил, процедур и показателей) на период 2015-2021 гг. Оценке (на базе самооценки) подлежат организация в целом, либо научная группа, либо исследовательская программа. Информационную базу формируют годовые отчеты и промежуточный (раз в 3 года) отчет самооценки. В процессе оценки проводятся посещения учреждений науки и образования оценочной комиссией, серии глубинных интервью, а согласованные результаты оценки публикуются. Система показателей и индикаторов для протокола разрабатывается Нидерландской королевской академии искусств и наук (KNAW) и утверждается министром образования, культуры и науки Нидерландов. Действующий протокол включает в себя три главных критерия оценки: научное качество (research quality), социетальная значимость (societal relevance) и жизнеспособность (viability). При оценке качества исследования библиометрические показатели продуктивности ученого не используются. Значимость связана с вкладом в социально-экономическое развитие, а жизнеспособность – с наличием стратегии исследования в рамках национальных целей развития. То есть оценивается умение руководителей вписать используемую, или создаваемую научную инфраструктуру исследований в общий национальный контекст. Следующий раунд был первоначально запланирован на 2021 г., но вследствие пандемии COVID-19 срок подачи заявок был перенесен на январь 2022 г. [17-18].

Forskningskvalitet-sutvärdering i Sverige (FOKUS) - Система оценки качества исследований Швеции

Система FOKUS реализуется в Швеции с 2003 г. В оценочных процедурах используются комплексные подходы - панели международных экспертов, наборы индикаторов, углубленный анализ отдельных проектов (case studies). С точки зрения модели оценки качества исследований, следует за экспертными подходами нидерландской системы SEP, но содержит также вычислительную модель преобразования результатов оценки в схему аллокации ресурсов [19].

Excellence in Research for Australia (ERA) - Национальная система оценки исследований «Выдающиеся исследовательские достижения для Австралии»

Национальная австралийская система ERA действует с 2010 г. Система является комплексной (используются различные наборы показателей и панели экспертов) с акцентом на оценку производительности по отраслям и научным дисциплинам. Оценка проводится раз в три года. Из-за пандемии COVID-19, очередной раунд планируется провести в 2023 г. С точки зрения подходов к оценке качества исследований и используемой модели аллокации ресурсов система ERA является дериватом британской системы REF.

Tieteen Tila -Система оценки состояния наукив Финляндии

Система Tieteen Tila действует в Финляндии с 2012 г. В системе используются комплексные подходы (бенчмаркинг, экспертная оценка факторов развития науки, глубинные интервью). Результаты оценочных процедур позволяют определять приоритеты финансирования прорывных направлений науки. Организатор оценки – Академия Финляндии (Suomen Akatemia), государственная структура (подразделение правительства), осуществляющая распределение научного бюджета (более 260 млн. евро в год) в стране. Экспертные панели и интервью используются на нерегулярной основе – только для оценки состояния научного потенциала [20].

Перечисленные оценочные системы представляют интерес в силу своей жизнеспособности (имеют развитые институционально-правовые основы, существуют достаточно долго, постоянно совершенствуются, на их основе возникают различные дериваты, используемые в других странах), а также попытками фиксировать и оценивать (пусть не всегда последовательно и успешно) влияние результатов деятельности ученых на людей, экономику и общество. Фактически, эти оценочные системы представляют собой современные политико-правовые и социальные технологии, которые в процессе их применения с разной степенью эффективности решают задачу «повернуть науку и общество лицом друг к другу».

Еще одна общая черта показанных выше оценочных систем – попытки учитывать сложность и многоаспектность научного поиска, а также возможность отдаленного во времени возникновения эффектов от исследовательских результатов. Важным является также то обстоятельство, что раунды и параметры используемых за рубежом оценочных процедур обычно нормативно зафиксированы на длительный промежуток времени (4-5 лет), который выходит за пределы легислатуры органов публичной власти, что теоретически должно ограждать ученых от давления политической конъюнктуры и слишком частой смены «правил игры».

Используемые в оценочных системах подходы и методы хорошо настроены на особенности функционирования национальных систем науки, образования и инноваций и, в стратегическом плане, ориентируются на национальные цели развития. Собственно, это обстоятельство и определяет нужность, эффективность и жизнеспособность подобных систем и методов.

Например, одной из базовых ценностей Нидерландов выступает открытость экономики и общества, поэтому, используемый в рамках системы SEP для оценки вклада наук в социально-экономическое развитие (причем, по всему перечню дисциплин) показатель «социетальной значимости» (societal relevance) настроен особым образом. Согласно SEP, в отчет должен быть включен специальный шаблон, объясняющий экспертам актуальность работы исследовательского подразделения для общества. Предполагается, что исследователи сами заранее позаботятся о том, в каких целевых группах или областях могут быть востребованы результаты их исследований и совершат дополнительные действия в этом направлении. В итоге, оценивается качество, масштаб и актуальность таких экспертных материалов, предназначенных для конкретных экономических, социальных или культурных целевых групп, консультативных докладов по вопросам соответствующей политики или материалов для участия в публичных дебатах, или в образовательных программах.

Интерес представляет британский опыт использования в оценочных процедурах концепта так называемого «более широкого воздействия» (broader impact).Речь идет о попытках выявить и оценить максимальный «охват» (широту) и «значимость» (глубину) воздействия научных исследований на экономику и общество. Сам термин broader impact изначально возник в деятельности Национального научного фонда (NSF) США. Под ним понимается воздействие, изменение или польза от проведенных исследований для экономики и общества, прежде всего, за периметром науки [21]. Однако практическое оценивание broader impact на национальном уровне впервые было проведено в Соединенном Королевстве.

Для выявления и измерения «более широкого воздействия» в рамках британских оценочных процедур REF2014 внимание было смещено с формальных показателей производительности труда ученого на оценку его результативности (output) по критериям оригинальности и новизны. Для измерения вклада (impact) готовились (с привлечением профессиональных импактологов) тематические кейсы на небольшие группы исследователей (порядка 10 человек) по близким темам, а в качестве характеристик «научной среды» использовались данные о количестве присужденных ученых степеней, объемов и источников внешних поступлений и размерах натуральных доходов от проведенных исследований. Всего было проанализировано и подвергнуто экспертной оценке два типа документов: около 2 тыс. сформированных шаблонов оценки (REF3a) – на основе более 190 тыс. результатов НИР, и около 7 тыс. тематических кейсов импактов (REF3b), связанных с работой более 52 тыс. исследователей из 154 учреждений высшего образования. В процессе оценки проводились калибровочные сессии по уточнению критериев, каждый шаблон и кейс рассматривался, по крайней мере, двумя экспертами, все коллизии устранялись, а практика подсчета баллов различалась между группами дисциплин и в рамках отдельных панелей [22].

Результаты проведенных оценочных мероприятий вызвали противоречивую реакцию. С одной стороны, удалось получить масштабную информацию о результатах британской науки и их влиянии на экономику и общество. С другой стороны, этот опыт показал, что распространение «культуры импакта» сопровождается негласной подменой содержательных оценок наборами формализованных требований их проведения (метрик, удобных для менеджеров науки). Как следствие, на практике происходит такое усложнение стандартов экспертизы качества исследований, что затраты на саму оценку начинают превышать возможные выгоды от ее проведения. Например, первый тур REF, проведенный в 2014 г., оказался настолько дорогим (только независимая экспертиза потребовала более 246 млн. фунтов стерлингов) и забюрократизированным, что спровоцировал политический скандал, поскольку итоги оценки можно было предсказать заранее, без всяких сложностей и расходов: из 164 университетов страны подавляющую часть финансирования (более 70% от общего объема) получили 24 наиболее престижных и элитарных университета (члены Russell Group - британский аналог американской Лиги плюща) [23].

После выхода Соединенного Королевства из Европейского союза и в преддверии нового тура REF, первоначально запланированного на 2021 год, британское правительство заявило о стремлении максимально снизить «контрольную нагрузку» на учреждения высшего образования и ученых. В частности, предполагается возможное сокращение использования формализованных метрик в пользу возвращения к описательным элементам в оценке социально-экономических импактов, а также повышение качества оценочных процедур за счет внимания к особой роли междисциплинарных исследований [23-24].

Критика доминирования формальных показателей в оценке влияния научных результатов привела (помимо расширения использования качественных методов в оценочных процедурах) к возникновению новой дисциплины – альтметрии. Под этим термином понимается совокупность методов и данных, которые продвигаются в качестве альтернативы (отсюда и название) традиционной библиометрии [25-26]. Идея альтметрии тесно связана с происходящей цифровой трансформацией всех сфер жизни, включая науку, и опирается, в основном, на данные, которые собираются при помощи API-интерфейсов платформ социальных сетей и сервисов блогов. Считается, что такая информация способна улучшить представление об итоговых результатах (outcomes) научных исследований [27].

Методы экспертизы

Несмотря на масштабное применение библиометрических и других формальных показателей в системах внешней оценки эффективности «научного производства», такой метод, как научная экспертиза со стороны ученых, работающих в той же предметной области, что и авторы оцениваемых проектов, по-прежнему остается «золотым стандартом» для качественной оценки результатов исследований. Более того, роль экспертизы и иных качественных методов только растет. Очевидно, что правильно организованная экспертиза не только обеспечивает легитимацию знаний и поддержание должного порядка внутри сообщества ученых, но и выполняет функции обратной связи в контуре внешнего управления наукой. Мониторинг показывает, что с каждым годом форматы проведения экспертной оценки становятся всё разнообразнее и сложнее.

На основе анализа зарубежной литературы, можно выделить четыре группы содержательных подходов к оценке качества и воздействия (импакта) научных исследований:

- Методология ранжирования результатов экспертизы научных исследований в рамках выбранной модели определения предпочтений с точки зрения их полезности для науки и общества (платформа Research Excellence Framework, или REF, Соединенное Королевство);

- Методология аудита (комплексной внешней оценки) качества и достоверности научных исследований, их применимости для ответа на большие вызовы, стоящие перед обществом и соответствия национальным целям развития (комплекс процедур Standard Evaluation Protocol, Нидерланды);

- Приложения методологии индикативного анализа трансформации (логической модели причинно-следственных связей) вклада (издержек) в непосредственные результаты и конечные эффекты исследований (комплекс подходов Theory of Change, США). Существуют важные, с точки зрения оценки, формы развития этой методологии:

- Методики итерационного (многоуровневого) оценивания логической модели импакта научных исследований (Contribution Analysis, Канада; Contribution Mapping, Нидерланды; Research Contribution Framework, Соединенное Королевство);

- Методология оценки «окупаемости» исследований на основе многомерной классификации его импактов (HERG Payback Framework, Соединенное Королевство);

- Стратегия интегрированной трансляции знаний и модели их совместного производства с учетом особенностей и барьеров циркуляции знания в межличностных сетях (Linkage and Exchange framework, Канада).

В целом, стоит отметить, что после периода увлеченности формальными показателями продуктивности научного труда, начался возврат к практике использования тщательно сформулированных правил (в форме концептуальных или логических моделей), которые некогда были разработаны и использованы самим научным сообществом для решения конкретных задач (framework approaches).

К таким подходам относится уже упомянутая теория изменений, которая была разработана в 1997 г. в качестве инструмента повышения результативности различных программ и политик путем выявления реальной взаимосвязи между совершаемыми действиями (шагами) и наблюдаемыми изменениями. Как известно, после завершения программы, при формальном достижении всех запланированных показателей желаемые социально-экономические изменения не всегда наступают, то есть происходит так называемый управленческий разрыв, который должна заполнить методология. Идеи теории изменений (иногда о них говорят, как о философии изменений) привели к бурному развитию подходов, нацеленных на совершенствование научного обеспечения различных политик с целью расширения их потенциала (capacity) и формированию элементов социально-политической теории, анализирующей механизм диалога между различными группами заинтересованных сторон [28].

Инструментарий теории изменений активно применяется международными организациями и институтами развития (ООН, ОЭСР, Всемирный банк). В Российской Федерации подходы Theory of Change используются, в частности, для анализа ресурсной обеспеченности и реализуемости стратегических проектов [29], а также для оптимизации проектной деятельности некоммерческих организаций [30]. За рубежом подходы теории изменений вместе с разработанными на их основе методологиями анализа вклада (Contribution Analysis, CA) и картирования вклада (Contribution Mapping, CM) применялись для оценки программ ЮНЕСКО, моделирования направлений углубления сотрудничества между партнерскими организациями разных стран, прогнозирования последствий действий путем проверки теорий изменений аналогичных вмешательств и изучения опыта неудач внедрения, или, например, социально-экономических эффектов внедрения систем искусственного питания новорожденных [31-32].

Анализ также показал, что на сегодняшний день наилучшие практики оценивания результатов исследований сложились в области наук о жизни, здравоохранении и медицинском обеспечении (life science, public health and medical care). Именно в этих областях традиционно принято готовить детальные отчеты о проведении исследований, продвижении лекарств и продуктов, клинической практике и, как следствие, о позитивных сдвигах в общественном «самочувствии». Однако потенциал этой практики, применительно к формированию общих методов оценки вклада наук в социально-экономическое развитие, осознается пока в недостаточной мере [33].

Наиболее известными и заметными подходами являются британская методология оценки «окупаемости» исследований (HERG Payback Framework) [34-35] и канадская концепция «установления связей и обмена знаниями» (Linkage and Exchange, LE framework) при их совместном производстве [36].

Методология HERG Payback Framework была разработана исследовательской группой в области экономики здравоохранения (Health Economics Research Group, HERG - государственный исследовательский университет Брунеля, Лондон). Методология опирается на два ключевых элемента: логическая модель исследовательского процесса в целом и набор категорий для классификации вкладов (individual paybacks) исследования.

Логическая модель включает в себя: семь этапов (от 0 до 6) и два интерфейса (А и В) между исследовательским процессом и его политическим, профессиональным и экономическим окружением. Модель представляет собой развитие «истории» (story) исследования: от первоначальной идеи (этап 0), через процесс анализа (этап 2) к его распространению (интерфейс B) и, далее, к его эффектам для общества, включая его конечные результаты в форме улучшения здоровья и экономических выгод (этап 6). В зависимости от типа финансирования проекта, стадия 0 может иметь двеформы: традиционную, связанную с решением конкретных задач и реализуемую внутри научного сообщества, или тема может быть поставлена более широко и сразу включать более широкую аудиторию с участием лиц, принимающих решения, медицинских работников, представителей пациентов и т.п.

Используется пять переменных категоризации видов «окупаемости»: (1) «знания» (библиометрия), (2) «преимущества для будущих исследований» (лучшее целеполагание, лучшие навыки и объем исследовательского потенциала), (3) «преимущества от более обоснованной политики» (совершенствование информационной базы для политических и управленческих решений, разработка лекарств и терапевтических техник), (4) «польза для здравоохранения» (улучшение состояния здоровья, снижение цен, повышение справедливости и качества предоставления услуг) и (5) «экономические выгоды» (коммерческое использование инноваций, сокращение числа потерянных по болезни рабочих дней) [34-35].

Методология HERG Payback Framework использовалась не только для оценки социально-экономических эффектов от внедрения новых лекарств и терапевтических техник, но также национальных программ медицинских исследований, в частности, финансируемых благотворительными организациями Австралии и Соединенного Королевства, или Национальными институтами здоровья (NIH) в США. Методология также имплементирована в рамках системы REF2014 для оценки вклада научных исследований на медицинских факультетах университетов. Указанный подход нашел успешное применение не только для оценки социально-экономических эффектов исследований в области здравоохранения, но и в других областях. Например, RAND Europe и HERG совместно адаптировали методологию и применили ее для оценки вклада исследований в области социальных и гуманитарных наук, а также в области современного и классического искусства (в частности, перформанса и изобразительного искусства) [37-38].

Что касается подхода LE framework, то эта канадская разработка, подобно концепции доказательной медицины, является одновременно как философией, так и стратегией преодоления разрыва между исследованиями (новыми знаниями) и практикой (решениями и действиями). Однако механизм преодоления разрыва в этих подходах принципиально разный. В случае принятия решений на основе фактических данных происходит трансфер результатов исследований в политику и практику, что можно считать классической технологической инновацией. Напротив, стратегия LE акцентирует внимание на межличностных связях (взаимодействиях) исследователей, направлена на вовлечение стейкхолдеров в процесс создания и изучения фактических данных, их совместное производство (knowledge co-production), и в этом смысле, является, скорее, социальной инновацией [39-40].

Подобный подход, предполагающий, что ученые и все заинтересованные в их результатах активные пользователи нового знания постоянно сотрудничают на всем протяжении исследований, очень распространен в канадской системе здравоохранения и даже получил специальное название «интегрированной трансляции знаний» (integrated knowledge translation) [41]. В практическом плане концепция LE framework на протяжении 20 лет является основой деятельности, в частности, Канадского исследовательского фонда здравоохранения (Canadian Health Services Research Foundation) - эндаумент-фонда, созданного федеральным правительством Канады для финансирования проектов научных исследований и подготовки персонала в сфере предоставления медицинских услуг совместно с органами публичной власти канадских провинций [42].

Что касается модели сопроизводства (co-production) общественных благ, используемой для фиксации и оценки полезных результатов научных исследований, то она была первоначально разработана для концептуализации особого типа отношений между поставщиками государственных услуг и их пользователями (гражданами). Считается, что эта модель представляет собой практический механизм приращения социального капитала – партнерских отношений государства и общества, которые основаны на доверии, поддержке и социальной активности внутри сообществ [43-45].

В модели сопроизводства принято выделять пять основных элементов:

1. Пользователи рассматриваются как активные агенты, а не пассивные субъекты или получатели услуг.

2. Существует неформальное равенство в отношениях между пользователями знания и профессиональными учеными (услуги более ориентированы на пользователя, а знания и опыт пользователей оцениваются наравне с опытом профессионалов).

3. Пользователи услуг и профессионалы осознают и признают свои отношения равными, взаимными и взаимовыгодными.

4. Расширение участия пользователей изменяет (трансформирует) способы разработки и предоставления государственных услуг.

5. Участие пользователей в совместном производстве услуг поощряется и облегчается на институциональном уровне (хотя признается, что именно люди, а не системы, создают изменения).

В последние годы модель сопроизводства стала использоваться также для описания участия лиц, принимающих решения и пользователей в прикладных научных исследованиях [46]. Однако здесь есть свои сложности, которые важно понимать, разделять и учитывать. Совместное производство знаний требует времени, ресурсов и размывания существующих границ между наукой и обществом и, одновременно, выработки соответствующих методологических подходов. Проблемы совместного производства включают в себя: (1) наличие конфликтующих ценностей, (2) ригидность институциональных структур, (3) избегание партнерами риска, (4) проблему подотчетности и (5) общую нехватку потенциала и стимулов. Наконец, различные заинтересованные стороны и группы имеют свои собственные культурные ценности и профессиональный язык, которые также могут ограничивать стремление к идеалу равных и доверительных отношений [47-48].

Таким образом, все участники сопроизводства знаний нуждаются в постоянных контактах, переговорах и помощи в «навигации» [49]. С этой точки зрения, ключевыми участниками сопроизводства знаний могут выступать брокеры знаний и политические предприниматели (policy entrepreneurs) - лица, имеющие достаточный исследовательский опыт и полномочия для понимания культуры, и методов науки, но также одновременно понимающие политический процесс и способные эффективно общаться с лицами, принимающими решения [50-51], а также управленческий персонал учреждений науки и высшего образования [52]. Деятельность таких людей обычно выходит за рамки традиционных ролей в науке, является принципиально инновативной, как правило, несет элемент риска, но приводит к финансовому вознаграждению [53-54].

В Российской Федерации методологические подходы партнерства и совместной деятельности используются, например, для оценки проектов сопроизводства социальной городской инфраструктуры сообществами территориального общественного самоуправления (приращение социального капитала) [55], или (в области приращения инноваций) для мониторинга состояния и динамики сектора интеллектуальных услуг [56].

Выводы

Вызовы современности изменяют место науки как социального института и роль ученых в обществе. На смену многовековым традициям самоуправления науки, воплощенным в так называемом «принципе Холдейна» (идея, согласно которой решения о том, какие исследования стоит финансировать, должны принимать сами ученые, а не политики [57]), пришли подходы «нового государственного управления», связанные с коммерциализацией производства знания и представлениями о бюджетном финансировании как инвестициях, требующих ускоренной отдачи.

Анализ зарубежных оценочных систем и подходов показывает, что создание контура внешнего аудита эффективности функционирования современной науки как сектора общественного производства является на сегодняшний день особенно сложной задачей, которая, несмотря на обширный опыт последних десятилетий, не имеет безупречных теоретических и практических решений [58].

В логике, вытекающей из теории государственного аудита [59], оценке подлежит эффективность деятельности органов исполнительной власти по управлению бюджетными и иными ресурсами государства. Однако применительно к сфере науки из-за сложностей анализа акцент переносится на экспертизу эффективности деятельности научных организаций и каждого ученого. Возникает ситуация «смещения целей» (displacement goals) [60], типичная для практики микроменеджмента науки, когда средства, выбранные для достижения цели, сами превращаются в цель. Возможно, именно этим объясняется рост во всем мире контрольной нагрузки на каждого исследователя и преподавателя, а также «сдвиг влево» по шкале времени сроков предоставления отчетности, поскольку профильным ведомствам необходимо собрать «снизу» и обработать всю информацию до наступления дедлайна по собственным отчетам перед внешним государственным финансовым контролем. Таким образом, повсеместная экспансия идей «неоменеджериализма» (включая управление наукой как бизнес-проектом с микроменеджментом деятельности ученого) содержит риск замещения долгосрочных стратегических целей развития сектора науки достижением краткосрочных и локальных успехов.

Представляется, что особенности функционирования объекта (наука) контроля и производимого им результата (научное знание) не позволяют без ущерба для качества получаемых выводов абсолютно разделить контуры внутреннего и внешнего аудита сектора науки, поскольку содержательное значение результатов могут оценить только эксперты – представители научного сообщества. Соответственно, содержательная оценка социально-экономической ценности научных результатов требует привлечения к экспертным процедурам реальных и потенциальных пользователей нового научного знания – представителей бизнеса и государства, различных общественных групп и других стейкхолдеров.

Это обстоятельство создает основные трудности при формировании оценочных систем, так как необходимость сочетания количественных и качественных методов оценки ведет к постоянному увеличению ресурсоемкости процедур: для получения достоверного результата расходуется все больше времени, финансов, материалов, человеческих ресурсов, включая привлечение различных стейкхолдеров. Как следствие, баланс «цена / качество» объективно смещается в пользу сокращения расходов времени и финансов.

Представляется, что разработка доказательных систем оценивания воздействия результатов исследований на общество и экономику сопряжено с необходимостью решения, как минимум, трех типичных задач.

Первая из них обусловлена выбором наиболее правильных сроков оценки импакта по принципу «вчера было рано, а завтра станет поздно».

Вторая – с правильным установлением связи «исследование-эффект» при наличии множества влияющих факторов и акторов [61].

Наконец, решение третьей задачи предполагает попытку сформулировать своеобразный «принцип дополнительности» импакта: результаты исследования теоретически способны изменять наблюдаемые процессы и эффекты, а значит, необходимы взаимоисключающие классы понятий (условно, сравнение характеристик «мира без результатов исследования» и «мира, на который повлияли результаты исследования»).

Совершенствование и правовое регулировнаие систем и подходов, предназначенных для оценки результатов исследований и эффективности функционирования сектора науки в целом, - это постоянный, творческий процесс, который стал сегодня составной частью более общего явления – коэволюции науки и методов государственного управления научным развитием.

Библиография
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
References
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.

Результаты процедуры рецензирования статьи

В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Со списком рецензентов издательства можно ознакомиться здесь.

Представленная на рецензирование статья посвящена изучению международного опыта в применении оценочных систем и подходов к анализу влияния результатов научных исследований на экономику и общество.
Методология исследования базируется на обобщении современных публикаций по вопросам планирования, проведения и финансирования научных изысканий, их роли в развитии экономики и общества, применении инструментария теории государственного аудита и общенаучных методов исследований, а также концептуальных подходов теории изменений.
Научная новизна представленного исследования, по мнению рецензента, заключается в выводах о том, что на смену многовековым традициям самоуправления науки (решения о том, какие исследования стоит финансировать, должны принимать сами ученые, а не политики), пришли подходы «нового государственного управления», связанные с коммерциализацией производства знания и представлениями о бюджетном финансировании как инвестициях, требующих ускоренной отдачи.
Структурно в статье выделены следующие разделы: Введение, Источники и подходы, Оценочные системы, Методы экспертизы, Выводы и Библиография.
Во введении обоснована актуальность исследования и освещены вопросы содержания и задач внутреннего и внешнего аудита эффективности функционирования науки. В следующем разделе рукописи проведен анализ современных зарубежных систем измерения качества научных исследований; приведена логическая модель оценивания результатов действий; отмечено, что современная наука обязана постоянно демонстрировать государству и обществу запланированное «приращение благ», поэтому необходимы адекватные инструменты измерения импакта, учета неизбежного временного лага на пути к получению «осязаемой пользы» для экономики и общества между произведенным эффектом и проведенным исследованием. Далее рассмотрены примеры зарубежных систем внешней оценки качества научных исследований в Великобритании, Нидерландах, Швеции, Австралии, Финляндии. Авторы отмечают, что несмотря на масштабное применение библиометрических и других формальных показателей при оценке эффективности «научного производства», такой метод, как научная экспертиза по-прежнему остается «золотым стандартом» для качественной оценки результатов исследований, причем роль экспертизы и иных качественных методов только растет, правильно организованная экспертиза не только обеспечивает легитимацию знаний и поддержание должного порядка внутри сообщества ученых, но и выполняет функции обратной связи в контуре внешнего управления наукой. В статье выделены группы содержательных подходов к оценке качества и воздействия (импакта) научных исследований, отмечен, что после периода увлеченности формальными показателями продуктивности научного труда, начался возврат к практике использования тщательно сформулированных правил в форме концептуальных или логических моделей, которые ранее были разработаны и использованы самим научным сообществом. Авторы приводят пять переменных категоризации видов «окупаемости», которые используются в Великобритании. В выводах по статье выделены три типичные задачи, требующие решения для разработки доказательных систем оценивания воздействия результатов исследований на общество и экономику.
Библиография статьи отличается свой обширностью, включает 61 источник на русском и на английском языках. На приведенные в списке литературы источники в тексте имеются адресные ссылки, свидетельствующие о наличии в публикации апелляции к оппонентам. В целом содержание и стиль изложения материала соответствует сложившейся при оформлении результатов научных исследований практике публикаций.
Рецензируемое исследование актуально для современного этапа научно-технического прогресса, связано с тематикой журнала «Международное право и международные организации», в статье содержатся элементы приращения научного знания, обладающие практической ценностью для управления научными исследованиями, материал рекомендуется к опубликованию.
Ссылка на эту статью

Просто выделите и скопируйте ссылку на эту статью в буфер обмена. Вы можете также попробовать найти похожие статьи


Другие сайты издательства:
Официальный сайт издательства NotaBene / Aurora Group s.r.o.