Показатели оценки риска исполнения государственных контрактов с длительным жизненным циклом

Мишин Александр Юрьевич ORCID: 0000-0002-0592-8524 кандидат экономических наук доцент департамента бизнес-информатики Факультета информационных технологий и анализа больших данных, Финансовый университет при Правительстве Российской Федерации 125167, Россия, г. Москва, пт. Ленинградский, 49/2 Mishin Aleksandr PhD in Economics Associate Professor of the Department of Business Informatics, Faculty of Information Technologies and Big Data Analysis, Financial University under the Government of the Russian Federation 125167, Russia, Moscow, 49/2 Leningradsky Ave. mishin_au@mail.ru

Андриянов Никита Андреевич ORCID: 0000-0003-0735-7697 кандидат технических наук доцент, Департамент анализа данных и машинного обучения Факультета информационных технологий и анализа больших данных, Финансовый университет при Правительстве Российской Федерации 125167, Россия, г. Москва, ул. Пр-Кт ленинградский, 49/2 Andriyanov Nikita Andreevich PhD in Technical Science Associate Professor, Department of Data Analysis and Machine Learning Faculty of Information Technologies and Big Data Analysis, Financial University under the Government of the Russian Federation 125167, Russia, Moscow, 49/2 Leningradsky Ave. naandriyanov@fa.ru

Статья подготовлена по результатам исследований, выполненных за счет бюджетных средств по государственному заданию Финуниверситета

Статья подготовлена по результатам исследований, выполненных за счет бюджетных средств по государственному заданию Финуниверситета

Введение

Выбранное направление исследования, во-первых, косвенно затрагивает все национальные цели, установленные Указом Президента Российской Федерации от 21.07.2020 г. №474, так как эффективность российской экономики во многом определяется эффективностью её госсектора в силу его высокого удельного веса в ней; во-вторых, непосредственно поддерживает цель «д», заключающуюся в «достижении цифровой зрелости ключевых отраслей экономики и социальной сферы, в том числе здравоохранения и образования, а также государственного управления».

Данное исследование является актуальным, так как объемы государственных закупок сопоставимы с доходной частью федерального бюджета. Так, в 2022 году объём государственных закупок превысил объёмы в 12,9 трлн. рублей по 44-ФЗ (Галиева Д. Мал тендер, да дорог. Газета «Коммерсантъ» №1 от 09.01.2023, стр.2) и в 8,1 трлн. рублей по 223-ФЗ. (Объем закупок в B2B-сегменте в 2022 году снизился в РФ на 2% до 33 трлн рублей. Официальный сайт агентства Интерфакс).

В рамках сложившейся в России системы государственных закупок существует целый ряд проблем эффективности процессов организации закупок.

Юдин Ю.А., Тарабукина Т.В., Облизов А.В. (2023) утверждают, что «в ходе исполнения контракта вся экономия государственных средств может быть потрачена на доработку или исправление нарушений по контракту» ^[1]. Также нельзя не согласиться с Мельниковым В.В. (2022) в том, что «законодательство о контрактной системе не обеспечивает для экспертного сообщества и заказчиков общего понимания, что такое «эффективность госзакупок» и каковы критерии ее достижения» ^{[2, с. 127]} и «произошел идеологический отход от понимания важности эффективности обеспечения нужд к достижению бюджетной экономии при создании равного доступа поставщиков и прозрачности сделок» [там же, с.125].

Следует отметить, что указанная ситуация наблюдаются даже спустя 16 лет после ввода в эксплуатацию ЕИС и накопления огромного объема цифровых данных. Так, доля несостоявшихся и отмененных контрактов в общем количестве извещений за 2022 год составила 33,4% по итогам 2022 года, причем больше половины от указанной цифры приходится на сделки, договора по которым всё же были заключены – 20,5% от общего количества извещений (рассчитано на основе данных Сводного аналитического отчета о результатах мониторинга закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд, а также закупок товаров, работ, услуг отдельными видами юридических лиц за 2022 г., разработанного Министерством финансов РФ, с.45-46).

Хотя проблемы системы госзакупок в России носят комплексный характер, очевидной точкой приложения усилий по оптимизации процессов госзакупок является создание встроенного в ЕИС управляемого данными (data driven) функционала выбора поставщиков и оценки рисков исполнения государственных контрактов. По результатам исследований Стырина Е. М., Родионовой Ю. Д. (2020) «Система предиктивной аналитики отсутствует. На электронных площадках можно выделить только отдельные элементы проактивного предоставления услуг» ^{[3, с.61]}.

Существующий функционал ЕИС дает возможность заказчику устанавливать систему критериев выбора поставщика в ручном режиме, частично опираясь на действующие законодательные и регуляторные требования. При этом у поставщика в рамках ЕИС до их пор отсутствует как доступ к сырым данным, позволяющим профилировать поставщика, так и к рекомендациям, построенным на основе анализа больших данных. Анализом этих данных занимаются регуляторы – Федеральное казначейство, Федеральная антимонопольная служба, Министерство финансов, Счётная палата и другие органы государственной власти. Результатом такого анализа являются регулярно пересматриваемые нормативы, закрепляемые в законодательстве и обязательные для всех участников госзакупок (если законодательством не предусмотрено иное) (см. рисунок 1).

Рисунок 1. Укрупненная схема процесса регулирования системы госзакупок в России

Источник: разработано авторами

Недостатками представленной выше модели процесса являются:

1) Длительность и затратность внесения изменений. Изменение нормативов происходит через внесение изменений в нормативно-правовые акты;

2) Нормативы системы госзакупок рассчитываются только на базе показателей, находящихся внутри контура ЕИС, а не на основе доступных государственным органам больших данных;

3) Недостаточно используются технологии анализа данных и машинного обучения (ML).

Можно в значительной степени эффективность процессов госзакупок, автоматизировав на базе рекомендательных ML-технологий процедуру оценки и выбора поставщика, или добавив в ЕИС функционал прогнозирования исполнения контракта с определенными параметрами. Для разработки подобного рода моделей ключевой задачей будет являться определение значимых признаков, позволяющих прогнозировать эффективность заключаемого государственного контракта.

Объектом исследования являются процессы мониторинга исполнения и оценки риска исполнения государственных контрактов, а предметом исследования – показатели оценки риска исполнения государственных контрактов в Российской Федерации.

Целью исследования является выявление показателей (признаков) государственных контрактов, которые могут иметь значимость для прогнозирования их исполнения.

Обзор существующих исследований

Анализ литературных источников в указанной области показал, что эти проблемы довольно давно привлекают внимание российских и зарубежных ученых. В западных странах нет настолько зарегулированной системы государственных закупок и уровень коррупции может быть меньше, культура выполнения контрактов и исполнения обязательств существенно отличается, поэтому комплексных исследований в ракурсе задачи оценки рисков уже запущенных контрактов нет.

Наиболее полное, хотя и устаревшее исследование провел Farzad Khosrowshahi (1999) ^[4]. В его работе исследовано множество признаков, однако она всецело посвящена анализу исключительно поставщика, а не контракта или признаков процесса осуществления закупки. И данная работа вышла в то время, когда еще не было больших исторических данных. Её результаты лишь частично применимы к российской практике, также как и работа Acheamfour Karikari V., Kissi E., Adjei-Kumi T., Adinyira E. (2020) ^[5]. Обе работы апеллируют к признакам, для которых автоматизировать сбор и расчет данных, например, репутация компании, опыт персонала и пр. С указанными авторами солидарны и El-Sawalhi N., Eaton D., Rustom R. (2007) ^[6]. Елисеев Д., Дмитрий Романов Д. (2018) создали достаточно эффективную модель прогнозирования оценки, включающую всего четыре ключевых критерия и хорошо подходящую для российских условий ^[7]. Созаева Д.А., Гончар К.В. (2022) применяли BI-решения для визуального анализа данных, и не оценивали статистическую значимость признаков для целей прогнозирования исполнения государственных контрактов, указав важность ОКПД 2 как ключевого признака, влияющего на результат исполнения контракта ^[8]. Также авторы рассмотрели в качестве целевого признака любое досрочное завершение контракта, в то время как в рамках данного исследования авторы решили считать расторжение контракта по соглашению сторон успешным завершением контракта, так как подобных расторжений после 2022 года стало очень много, и они связаны как с трудностями, которые испытывают не только поставщики, но и заказчики. Работы Sanjana P., Basavaraj K., Pranali D, Kashmira P. (2020) ^[9] и Zedan A. (1996) ^[10] не содержат принципиальных дополнений к вышеупомянутым авторам, выделяя важность строительных проектов как самых проблематичных с точки зрения эффективности исполнения.

В таблице 1 представлены основные исследования в данной области, содержащие перечень наиболее значимых признаков контрактов для прогнозирования их исполнения.

Таблица 1. Обзор существующих исследований в области определения ключевых признаков для прогнозирования эффективности исполнения государственных контрактов

Источник: разработано авторами

Цыганова М. С., Чернушенко Д. А., Буреш С. В. (2022) выявили влияние сезонного фактора на эффективность закупок, хотя и не затрагивали напрямую в своей работе вопросы прогнозирования ^[11]. В настоящем исследовании при выгрузке набора данных это учтено принудительной случайной выборкой по различным годам и месяцам в силу ограничений, наложенных особенностями работы сервера ЕИС в данное время.

Методология исследования

В рамках исследования авторы применили подходы исследовательского анализа данных (Exploratory Data Analysis, EDA).

Схематично методология исследования представлена на рисунке 2.

Рисунок 2. Этапы исследования

Источник: разработано авторами

Выгрузка данных производилась с помощью стандартного сервиса выгрузки ЕИС. Данный сервис имеет целый ряд ограничений, касающихся количества выгружаемых контрактов за одну операцию и отсутствия ряда признаков в выгружаемом наборе данных (при их присутствии в инструментах интерфейса поиска и фильтрации контрактов). Выгрузка данных производилась путем повторения аналогичных запросов к ЕИС по различным годам и объединения получаемых выгрузок в один набор данных с добавлением неотображаемого в выгрузке признака вручную.

Помимо всех двадцати девяти признаков, доступных в ЕИС для выгрузки по контрактам, в набор данных вручную был добавлен признаки «Статус» и «Причина расторжения», имеющие следующие значения:

Значения признака «Статус»: «Исполнение завершено», «Исполнение прекращено».

Значения признака «Причина расторжения»: «Нет», «Односторонний отказ заказчика от исполнения контракта в соответствии с гражданским законодательством», «Односторонний отказ поставщика (подрядчика, исполнителя) от исполнения контракта в соответствии с гражданским законодательством», «Соглашение сторон», «Судебный акт».

Далее в набор данных был добавлен целевой признак, отражающий наличие или отсутствие проблем с исполнением государственного контракта. Целевому признаку присваивалось значение «1», если признак «Статус» имеет значение «Исполнение прекращено» и при этом признак «Причина расторжения» имеет одно из следующих значений: «Односторонний отказ заказчика от исполнения контракта в соответствии с гражданским законодательством», «Односторонний отказ поставщика (подрядчика, исполнителя) от исполнения контракта в соответствии с гражданским законодательством», «Судебный акт». Соответственно, в случае если контракт завершен нормально, то признак «Статус» имеет значение «Исполнение завершено». Также контракт в рамках исследования считается успешно выполненным, если же признак «Статус» имеет значение «Исполнение прекращено», но причина расторжения не указана или имеет значение «Соглашение сторон».

Да данном этапе количество записей в наборе данных составило более 1 миллиона. Уникальным идентификатором контракта является поле «Номер реестровой записи», причем в наборе данных были выявлены некоторые реестровые записи, имеющие около тридцати тысяч строк. Строки с одинаковыми номерами реестровых записей различаются по количеству, цене, стоимости, идентификаторам поставляемой продукции / оказываемых услуг (по сути, по строкам спецификации контракта). С помощью одной VBA-процедуры были найдены и выгружены уникальные значения реестровых записей контрактов., а с помощью другой в набор данных были добавлены производные признаки «Было строк в реестровой записи», «Всего реально поставлено единиц продукции / услуг», «Общая стоимость поставленной продукции». Добавление указанных признаков позволило сжать набор данных до порядка 83 тысяч записей без потери важной информации о контрактах. Выбор VBA в качестве инструмента обработки данных был обусловлен большим объёмом данных. Коды разработанных процедур представлены на рисунках 3 и 4.

Рисунок 3. Код VBA-процедуры нахождения уникальных номеров реестровых записей

Источник: разработано авторами

Рисунок 4. Код VBA-процедуры сжатия набора данных по уникальным номерам реестровых записей

Источник: разработано авторами

Параллельно с обработкой данных стандартными сервисами была осуществлена выгрузка набора данных по компаниям-поставщикам из сервиса «Спарк/Интерфакс» с целью обогащения исходного датасета. Для этого вначале на основе данных компактного исходного датасета средствами MS Excel были найдены уникальные ИНН поставщиков. Сформированный csv-файл был использован в качестве входных данных для выгрузки набора данных из указанного выше сервиса. Полученный набор данных обогатил исходный датасет 135 признаками. В силу большого количества признаков их полный список не приводится в исследовании. Структура добавленных признаков представлена в таблице 2.

Таблица 2. Обзор существующих исследований в области определения ключевых признаков для прогнозирования эффективности исполнения государственных контрактов

Источник: разработано авторами

Так как финансово-экономические показатели поставщиков уже достаточно хорошо изучены предыдущими авторами (их работы уже были рассмотрены выше), а целью исследования является приращение научного знания, то для поиска новых ценных признаков авторы сосредоточились на анализе значимости категориальных признаков, которые согласно результатам анализа предметной области могут быть полезными при оценке рисков контракта, и в то же время не были ранее рассмотрены другими авторами.

В общей сложности в рамках консолидированного набора данных авторами был отобран следующий перечень признаков для дальнейшего анализа:

• Форма собственности;
• Организационно-правовая форма;
• Размер компании;
• Уровень бюджета;
• Регион поставщика;
• Первые два знака кода ОКВЭД 2;
• Способ размещения заказа.

Далее для выделенных категориальных признаков были построены таблицы сопряжения (сводные таблицы). Её пример для признака «Форма собственности» представлен в таблице 3:

Таблица 3. Таблица сопряжения для признака «Форма собственности»

Источник: разработано авторами

Обращает на себя внимание большой разброс значений целевого признака по выделенным группам исследуемого признака. Для полученных данных использование критерия хи-квадрат Пирсона нецелесобразно, т.к. получаемые значения критерия будут нереалистичными из-за наличия нулей в выборке и неравномерности частот. В данном случае более правильно использовать точный тест Фишера, однако данный метод плохо оптимизирован для таблиц сопряжения такой размерности, которая требуется в данном исследовании. Необходимость вычисления больших факториалов с учетом огромных частот быстро вызывает ошибку переполнения оперативной памяти. Задача будет решена в рамках дальнейших исследований авторов путем разработки специального численного алгоритма. Так как в целью данной работы является нахождение перечня новых значимых признаков, которые могли бы использоваться в прогнозировании исполнения госконтрактов, было принято решение использовать однофакторный дисперсионный анализ (ANOVA).

В таблицах 4 и 5 приведены его результаты для данных, приведённых ранее в таблице 3.

Таблица 4. Расчёт средних и дисперсий для групп признака «Форма собственности»

Источник: разработано авторами

Таблица 5. Результаты однофакторного дисперсионного анализа признака «Форма собственности»

Источник: разработано авторами

По результатам расчета показателей ANOVA можно уже на данном этапе сделать вывод, что данный признак точно не обладает значимостью и не является ценным для прогнозирования исполнения контрактов, так как P-значение больше 0,05.

Далее, согласно описанной методологии, метод ANOVA будет применен к остальным выделенным признакам.

Результаты исследования и их обсуждение

Автор предлагает применить в разрабатываемом модуле для оценки уровня риска исполнения конкретного контракта ряд показателей, разрабатываемых на основе доступных в государственных информационных системах данных.

В таблице 6 представлены результаты применения метода ANOVA к признаку «Первые два знака кода ОКВЭД 2».

Таблица 6. Результаты однофакторного дисперсионного анализа признака «Первые два знака кода ОКВЭД 2»

Источник: разработано авторами

Таким образом, в рамках исследования было выявлено, что отраслевая принадлежность организации-поставщика имеет важное значение для прогнозирования исполнения государственного контракта (рассчитанное P-значение меньше 0,05). Таблицы сопряжения и расчета средних и дисперсий не приводятся, т.к. количество уникальных старшеразрядных значений ОКВЭД 2, попавших в выборку, составило 84.

То же самое решение было принято в отношении признака «Регион поставщика» (см. таблицу 7):

Таблица 7. Результаты однофакторного дисперсионного анализа признака «Регион поставщика»

Источник: разработано авторами

Данный признак также может являться статистически значимым для прогнозирования целевого признака.

Рассмотрим признак «Способ размещения заказа» (таблица 8).

Таблица 8. Таблица сопряжения для признака «Способ размещения заказа»

Источник: разработано авторами

В таблицах 9 и 10 приведены его результаты для данных, приведённых ранее в таблице 3.

Таблица 9. Расчёт средних и дисперсий для групп признака «Способ размещения заказа»

Источник: разработано авторами

Таблица 10. Результаты однофакторного дисперсионного анализа признака «Способ размещения заказа»

Источник: разработано авторами

По результатам расчета показателей ANOVA можно сделать вывод, что данный признак не обладает значимостью и не является ценным для прогнозирования исполнения контрактов, так как имеет P-значение 0,1144.

Далее проанализируем признак «Размер компании» (см. таблицу 11).

Таблица 11. Таблица сопряжения для признака «Размер компании»

Источник: разработано авторами

В таблицах 12 и 13 приведены его результаты для данных, приведённых в таблице 11.

Таблица 12. Расчёт средних и дисперсий для групп признака «Размер компании»

Источник: разработано авторами

Таблица 13. Результаты однофакторного дисперсионного анализа признака «Размер компании»

Источник: разработано авторами

По результатам расчета показателей ANOVA можно сделать вывод, что данный признак «Размер компании» абсолютно не обладает значимостью и не является ценным для прогнозирования исполнения контрактов, так как имеет большое P-значение, равное 0,71.

Исследуемый набор данных содержит порядка 51 варианта организационно-правовых форм поставщиков. Наибольшие частоты значений признака представлены в таблице 14.

Таблица 14. Частоты значений признака «Организационно-правовая форма поставщика»

Источник: разработано авторами

В таблице 15 представлены результаты однофакторного дисперсионного анализа значений признака «Организационно-правовая форма поставщика».

Таблица 15. Результаты однофакторного дисперсионного анализа признака «Организационно-правовая форма поставщика»

Источник: разработано авторами

По результатам расчета показателей ANOVA можно сделать вывод о потенциальность значимости признака «Организационно-правовая форма поставщика» для прогнозирования исполнения контрактов, так как P-значение равно чрезвычайно малой величине.

Рассмотрим признак «Уровень бюджета» (таблица 16).

Таблица 16. Таблица сопряжения для признака «Уровень бюджета»

Источник: разработано авторами

В таблицах 17 и 18 приведены его результаты для данных, приведённых выше.

Таблица 17. Расчёт средних и дисперсий для групп признака «Уровень бюджета».

Источник: разработано авторами

Таблица 18. Результаты однофакторного дисперсионного анализа признака «Уровень бюджета»

Источник: разработано авторами

По результатам расчета показателей ANOVA можно сделать вывод, что данный признак не обладает значимостью и не является ценным для прогнозирования исполнения контрактов, так как имеет P-значение, значительно большее чем 0,05.

Выводы

Таким образом, по результатам применения метода ANOVA были сделаны выводы о потенциальной ценности для целей прогнозирования исполнения государственных контрактов следующих признаков:

- «Организационно-правовая форма поставщика»

- «Регион поставщика»;

- «Первые два знака кода ОКВЭД 2»;

Не являются статистически значимыми указанные признаки:

- «Форма собственности поставщика»;

- «Размер компании-поставщика»

- «Уровень бюджета»;

- «Способ размещения заказа».

Полученные результаты могут быть применены исследователями в ходе кластерного анализа, исследовательского анализа данных, при построении ансамбля моделей прогнозирования исполнения государственных контрактов.

Практическая значимость исследования обеспечивается сложностью и комплексностью задачи прогнозирования государственных контрактов, большим объёмом сформированной выборки.

Выводы не противоречат результатам исследований других отечественных и зарубежных авторов, однако расширяют и углубляют существующие подходы в части поиска новых значимых признаков на основе информационных возможностей, содержащихся в государственных информационных системах и других источниках больших данных.

В дальнейших планах авторов - расширение объёма набора данных, продолжение и углубление исследовательского анализа данных, построение надежных ML-моделей.

Просто выделите и скопируйте ссылку на эту статью в буфер обмена. Вы можете также попробовать найти похожие статьи