Статья 'Индикаторы оптимизации законодательства и правоприменения и методы их идентификации и использования на основе больших данных (опыт вычислительных экспериментов на судебных актах по делам об административных правонарушениях, предусмотренных главой 18 Кодекса Российской Федерации об административных правонарушениях)' - журнал 'Юридические исследования' - NotaBene.ru
по
Меню журнала
> Архив номеров > Рубрики > О журнале > Авторы > О журнале > Требования к статьям > Редсовет > Редакция > Порядок рецензирования статей > Политика издания > Ретракция статей > Этические принципы > Политика открытого доступа > Оплата за публикации в открытом доступе > Online First Pre-Publication > Политика авторских прав и лицензий > Политика цифрового хранения публикации > Политика идентификации статей > Политика проверки на плагиат
Журналы индексируются
Реквизиты журнала

Публикация за 72 часа - теперь это реальность!
При необходимости издательство предоставляет авторам услугу сверхсрочной полноценной публикации. Уже через 72 часа статья появляется в числе опубликованных на сайте издательства с DOI и номерами страниц.
По первому требованию предоставляем все подтверждающие публикацию документы!
ГЛАВНАЯ > Вернуться к содержанию
Юридические исследования
Правильная ссылка на статью:

Индикаторы оптимизации законодательства и правоприменения и методы их идентификации и использования на основе больших данных (опыт вычислительных экспериментов на судебных актах по делам об административных правонарушениях, предусмотренных главой 18 Кодекса Российской Федерации об административных правонарушениях)

Трофимов Егор Викторович

доктор юридических наук

заместитель директора по научной работе, Санкт-Петербургский институт (филиал) Всероссийского государственного университета юстиции (РПА Минюста России)

199178, Россия, г. Санкт-Петербург, 10-я линия В.О., 19, лит. А, каб. 36

Trofimov Egor

Doctor of Law

Deputy Director for Science, St. Petersburg Institute (Branch) of the All-Russian State University of Justice

199178, Russia, g. Saint Petersburg, 10-ya liniya V.O., 19, lit. A, kab. 36

diterihs@mail.ru
Другие публикации этого автора
 

 
Мецкер Олег Геннадьевич

кандидат технических наук

руководитель группы моделирования и прогнозирования управления по реализации федеральных проектов, Национальный медицинский исследовательский центр имени В. А. Алмазова

197341, Россия, г. Санкт-Петербург, ул. Аккуратова, 2

Metsker Oleg Gennad'evich

PhD in Technical Science

Head of the Modeling and Forecasting Group of the Department for the Implementation of Federal Projects, Almazov National Medical Research Center

197341, Russia, g. Saint Petersburg, ul. Akkuratova, 2

olegmetsker@gmail.com
Другие публикации этого автора
 

 

DOI:

10.25136/2409-7136.2020.9.34149

Дата направления статьи в редакцию:

20-10-2020


Дата публикации:

03-11-2020


Аннотация: Предметом настоящего исследования выступают исследовательские средства и методы оценки оптимизации законодательства и правоприменения. В статье раскрывается опыт вычислительных экспериментов на судебных актах по делам об административных правонарушениях, предусмотренных главой 18 Кодекса Российской Федерации об административных правонарушениях. Исследование выполнено с использованием различных компьютерных методов, включая моделирование знаний, методы обработки естественного языка и методы машинного обучения, а также сопряженных с ними в рамках междисциплинарной парадигмы методов системного анализа и экспертной оценки. Вычислительные эксперименты производились на эмпирической базе, сформированной из текстов 50438 судебных актов.   На больших данных дел об административных правонарушениях в статье показаны междисциплинарно (с компьютерной и юридической сторон) интерпретируемые результаты при использовании и идентификации ряда индикаторов оптимизации законодательства и правоприменения, прежде всего — временного индикатора, индикатора индивидуализации наказания и индикатора предметной однородности. Одновременно были сделаны некоторые выводы и обобщения относительно законодательства и правоприменения в рассматриваемой области. Вычислительные методы и набор индикаторов могут быть разработаны как основа для принятия решений в области правовой политики. Преимущества данной методологии — объективность выводов, основанная на методологии, открытой для публичной проверки, и больших юридических данных, обеспечивающих полноту исследования.


Ключевые слова: эффективность права, оптимизация права, административная ответственность, цифровое государство, большие данные, машинное обучение, интеллектуальный анализ данных, компьютерные методы, индикаторы, междисциплинарные исследования

Источник финансирования: Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 20-011-00837.
Funding: The reported study was funded by RFBR, project number 20-011-00837.

Abstract: The subject of this article is the research tools and assessment methods with regards to optimization of legislation and law enforcement. The paper reveals the experience of computational experiments on the judicial acts on administrative offenses established by the Chapter 18 of the Code of Administrative Offenses of the Russian Federation. The research employs various computer methods, including knowledge modeling, methods of natural language processing and machine learning, as well as the related within the framework of interdisciplinary paradigm methods of systemic analysis and expert assessment. Computational experiments were conducted on the empirical basis formed out of texts of 50,438 judicial acts. On the example of big data on administrative offenses, the article demonstrates the interdisciplinary (from computer and legal perspectives)  interpreted results in the context of usage and identification of a number of indicators for optimization of legislation and law enforcement, primarily – time indicator, indicator of individualization of punishment, and indicator of subject uniformity. The conclusions and generalizations are made pertaining to legislation and law enforcement in this area under consideration. Computational methods and the set of indicators can be the groundwork for making decisions in law policy. The advantages of the proposed methodology consist in objectivity of the conclusions that based on methodology open to public verification, as well as big legal data that ensures accuracy of research.



Keywords:

data mining, machine learning, big data, digital state, administrative responsibility, optimization of law, efficiency of law, computer methods, indicators, interdisciplinary study

1. Введение

Стремительное развитие компьютерных технологий, а затем и цифровой реальности обусловило их неизбежное соприкосновение с областью права. С 1950-х гг. во многих странах разрабатываются и внедряются компьютерные методы и системы для изучения права, интеллектуального анализа и моделирования правовой деятельности, так что сегодня наблюдаются успехи в разработке и внедрении поисковых, управленческих, аналитических, предиктивных и контрольных информационных систем, предназначенных для поддержки принятия решений в широком спектре юридических задач [1].

2. Проблема

В условиях динамичного развития правовой системы обработка и анализ юридических данных традиционными методами, включая правовую статистику и экспертные оценки, носят крайне ограниченный характер. Эти ограничения связаны, в частности, с объемами обрабатываемой информации, комплексностью и разнородностью данных, затратами ресурсов на обработку, анализ и интерпретацию результатов. Последствия этих ограничений — скудность информации, предоставляемой правовой статистикой, косность и субъективизм выводов, сделанных экспертами, недоверие и скептицизм к научным знаниям и рекомендациям, проявляемые законодателем, правоприменителем и обществом в целом. В то же время в сегменте AI & Law важную проблему составляет объяснительная задача в построении системы юридической аргументации [2]. Соединение двух названных проблем определяет направление междисциплинарного научного поиска.

3. Цель

Настоящее исследование посвящено разработке и обоснованию методологии качественной оценки оптимизации законодательства и правоприменительной практики на основе анализа больших данных. В качестве перспективного исследовательского средства прорабатываются индикаторы с учетом того, что индикаторы как средства исследования уже предлагались к использованию зарубежными исследователями для измерения права [3] и представляются удобным и понятным научным инструментом. В междисциплинарной юридическо-компьютерной области исследование использования индикаторов требует эвристического поиска адекватных компьютерных методов идентификации этих индикаторов, обоснования, апробации и проверки таких методов в вычислительных экспериментах.

На текущем этапе исследование проводится на данных дел об административных правонарушениях. В настоящей статье представлены результаты вычислительных экспериментов на судебных актах по делам об административных правонарушениях, предусмотренных главой 18 Кодекса Российской Федерации об административных правонарушениях.

4. Методология

В данном исследовании для проведения вычислительных экспериментов были использованы различные компьютерные методы, включая моделирование знаний, методы обработки естественного языка и методы машинного обучения (корреляционный анализ, классификацию, регрессию, ранжирование и др.). С названными методами были сопряжены в рамках междисциплинарной парадигмы методы системного анализа и экспертной оценки.

Вычислительные эксперименты по использованию методов интеллектуального анализа и машинного обучения производились на эмпирической базе, сформированной из текстов 50438 судебных актов по делам об административных правонарушениях, предусмотренных отдельными статьями главы 18 КоАП РФ.

Тексты судебных актов выражены на естественном языке, в связи с чем были подвергнуты автоматизированной обработке для извлечения данных методами, ранее обоснованными авторами [4] [5] [6].

Для верификации полученных результатов привлекались данные судебной статистики, упомянутые ниже.

5. Результаты

На больших данных дел об административных правонарушениях были получены междисциплинарно (с компьютерной и юридической сторон) интерпретируемые результаты при использовании и идентификации ряда индикаторов оптимизации законодательства и правоприменения, прежде всего — временного индикатора, индикатора индивидуализации наказания и индикатора предметной однородности. Одновременно были сделаны некоторые выводы и обобщения относительно законодательства и правоприменения в рассматриваемой области.

Изменение корреляции данных о применении законодательной нормы с данными о периоде времени — это временной (динамический) индикатор, который указывает на наличие изменений в правоприменительной практике, если величина корреляции различна для разных периодов времени. Как правило, изменения в величине корреляции статьи закона на период времени связаны со значительными изменениями в самом законе. На примере корреляционной матрицы (рис. 1) видно, что правонарушения, предусмотренные статьями 18.1, 18.2, 18.8, 18.10, 18.11, 18.15, 18.16 и 18.17 КоАП РФ, не коррелируют на 2016, 2017 и 2018 гг. Этот результат интерпретируется как отсутствие значимых для правоприменения изменений за эти годы в указанных статьях главы 18 КоАП РФ.

Рис 1. Корреляционная матрица данных, извлеченных из судебных актов

Этот вывод подтверждается наблюдением, согласно которому последние существенные изменения законодатель внес: в статью 18.1 — в 2009 г.; в статью 18.2 — в 2014 г.; в статью 18.8 — в 2013 г. (в 2016 г. в этой статье выделены только специальные части с более суровыми санкциями за те же правонарушения, совершенные в городах Москве и Санкт-Петербурге, Московской и Ленинградской областях); в статью 18.10 — в 2015 г.; в статью 18.11 — в 2007 г. (в 2016 г. было внесено техническое изменение, касающееся термина); в статью 18.15 — в 2015 г. (в 2016 г. было внесено техническое изменение, касающееся термина); в статью 18.16 — в 2014 г.; в статью 18.17 — в 2013 г. В названных статьях не было обнаружено изменения нулевого значения корреляции для временных периодов 2016, 2017 и 2018 гг. Напротив, на статье 18.9 идентифицирован временной индикатор: значения корреляции в 2017 и 2018 гг. (нулевая корреляция) изменились по сравнению с 2016 г. (положительная корреляция). В данном случае это динамический показатель, который следует за некоторым существенным изменением практики привлечения к административной ответственности за совершение административного правонарушения, предусмотренного статьей 18.9 КоАП РФ. Наличие правоприменительных изменений объективно подтверждается тем, что законодатель вносил изменения в статью 18.9 КоАП РФ в 2017 и 2018 гг.

При этом важно отметить два момента. Во-первых, результаты вычислительных экспериментов позволяют сделать вывод о том, что не все законодательные изменения влияют на практику применения статей закона. В частности, в отношении статей 18.8, 18.11 и 18.15 КоАП РФ временной индикатор не проявился, поскольку изменения в законе не были связаны с анализируемыми данными: в статье 18.8, помимо общих составов, в некоторых частях статьи были выделены специальные составы, а в статьях 18.11 и 18.15 устаревший термин был актуализирован в системе действующего законодательства. Таким образом, временной индикатор показывает существенность влияния законодательных изменений на реальную правоприменительную практику.

Во-вторых, определение характера изменений, произошедших в рассматриваемые периоды времени, требует использования дополнительных исследовательских средств и методов, определяемых на основе коррелируемых данных. Корреляционный анализ позволяет всего лишь выявить доменные области, в которых произошли изменения в рассматриваемые временные промежутки.

В этом отношении можно указать на связь между корреляцией периода времени со смягчающими и отягчающими обстоятельствами, с одной стороны, и индикатором индивидуализации наказания — с другой.

Индикатором индивидуализации наказания — одного из важнейших принципов юридической ответственности и правовой политики — является корреляция нормы применяемого закона на смягчающие или отягчающие обстоятельства. Отсутствие индивидуализации наказания (нулевая корреляция со смягчающими и отягчающими обстоятельствами) означает нарушения в процессе правоприменения, кроме случая, когда законом предусмотрена безальтернативная санкция. В прочих случаях отсутствие корреляции со смягчающими или с отягчающими обстоятельствами, означает, что правоприменитель чрезмерно упрощает производство по делу, избегая выяснения фактических обстоятельств, которые по закону влияют или могут повлиять на назначение наказания, а налагаемое наказание, таким образом, остается неиндивидуализированным. В таких случаях правоприменительная практика ориентирована на назначение минимального наказания, что сводит к минимуму риск обжалования и, как следствие, риск отмены акта правоприменения. Однако такой правоприменительный подход нарушает правила назначения административного наказания (прежде всего, статью 4.1 КоАП РФ) и делает альтернативные (не минимальные) меры наказания, предусмотренные законодателем, «мертвыми».

Например, статья 18.1 КоАП РФ предусматривает относительно определенные санкции. В наиболее часто применяемых частях 1 и 2 этой статьи наказание для граждан предусмотрено в виде административного штрафа в размере от 2000 до 5000 рублей, однако на практике административный штраф налагается в минимальном размере 2000 рублей (это подтверждают и данные ведомственного статистического наблюдения [7, стр. 201 разд. 1] [8, стр. 246 разд. 1] [9, стр. 261 разд. 1]). Корреляционная матрица (рис. 1) показывает, что статья 18.1 имеет нулевую корреляцию с обстоятельствами, смягчающими и отягчающими административную ответственность. Напротив, статьи 18.8 и 18.15 Кодекса имеют ненулевую (положительную или отрицательную) корреляцию со многими обстоятельствами, влияющими на индивидуализацию наказания.

На рис. 2 на тех же кейсах показана значимость различных параметров дела для определения размера штрафа.

Рис. 2. Значимость признаков для размера административного штрафа

Так, обстоятельства, смягчающие и отягчающие ответственность («Extenuating» и «Aggravating») имеют практически одинаковую значимость для определения размера штрафа, но различные виды смягчающих и отягчающих обстоятельств значительно различаются: например, раскаяние («Repentance») является более значимым смягчающим обстоятельством с показателем 588, чем содействие в расследовании правонарушения («Assistance») с показателем 93. Основными причинами таких различий является привычность обстоятельств для юридической практики. «Раскаяние» в содеянном очень часто устанавливается судом путем получения от правонарушителя ответа на стандартный вопрос: «Раскаиваетесь ли Вы в содеянном?». Для правонарушителя такое «раскаяние» преследует цель добиться более мягкого административного наказания, а доказательством раскаяния являются только слова правонарушителя, как и в случае признания им вины («Guilt admission» с показателем 509). «Содействие» правосудию устанавливается на основе реальных действий правонарушителя, которые случаются редко и еще реже фиксируются документально. Поэтому «содействие» оказывается более редким и непривычным для суда обстоятельством и меньше влияет на размер штрафа, чем «раскаяние», хотя обладает неизмеримо большей социальной полезностью.

Вместе тем описанный метод часто не позволяет установить направленность влияния одних параметров на другие. Для этого могут быть использованы другие методы. В частности, на рис. 3 на массиве судебных актов по отдельным статьям главы 18 КоАП РФ на основе SHAP value [10] показан характер влияния (позитивного или негативного) различных параметров дела на результат судебного пересмотра дела.

Рис. 3. Распределение значимости признаков для исхода дела

Например, установление судом любых смягчающих обстоятельств («Extenuating») связано с оставлением без изменения ранее вынесенного постановления о назначении административного наказания (красный цвет на рисунке смещен в отрицательные значения), тогда как отмена постановления соотносится с отсутствием установленных судом смягчающих обстоятельств (синий цвет на рисунке смещен в положительные значения). Такой результат объясняется тем, что смягчающие обстоятельства устанавливаются судом для смягчения наказания, т.е. в ситуации, когда административное наказание должно быть назначено и когда отсутствуют основания для прекращения производства по делу. Смысл этой связи хорошо объясняют такие смягчающие обстоятельства, как раскаяние («Repentance») и признание вины («Guilt admission»): установление этих обстоятельства означает, что лицо действительно виновно в совершении правонарушения (лицо раскаивается в совершенном деянии или признает свою вину), а потому суд отказывает в отмене ранее вынесенного постановления о назначении наказания.

Напротив, установление обстоятельств, исключающих производство по делу («Exceptional circumstances (Art. 24.5)»), показывает их высокую значимость для отмены ранее вынесенного постановления. Такой же результат показывает установление малозначительности правонарушения («Insignificance (Art. 2.9)»), что влечет освобождение от административной ответственности.

Интересно, что отягчающие обстоятельства («Aggravating»), взятые в совокупности, не имеют явной связи ни с отменой ранее вынесенного постановления, ни с оставлением этого постановления без изменений. Учитывая, что смягчающие и отягчающие обстоятельства по закону в равной мере входят в предмет доказывания по делу, это означает, что на практике процесс установления смягчающих обстоятельств имеет отличия от процесса установления отягчающих обстоятельств. В установлении смягчающих обстоятельств заинтересованы и правонарушитель, который благодаря им может получить менее суровое наказание, и суд, который благодаря им выносит такое решение, которое в дальнейшем с меньшей вероятностью будет обжаловано и отменено по мотивам суровости назначенного наказания. По этим же причинам выявлять отягчающие обстоятельства, которые приведут к ужесточению наказания, никто не заинтересован, и они выявляются в ходе производсьва по делу в силу объективных причин (очевидности, наличия соответствующей информации в официальных базах данных и т.д.).

По рассматриваемым составам административных правонарушений часто привлекаются к ответственности иностранные граждане. Поэтому именно по данной категории дел такое обстоятельство, как наличие у правонарушителя несовершеннолетних детей, в некоторых случаях может оказывать большое влияние на отмену ранее вынесенного постановления о назначении наказания (на рис. 3 — красные точки в положительном значении на строке «Have a baby»). Смысл этой значимости в том, что правонарушитель-иностранец может иметь ребенка с российским гражданством, и в этой ситуации суд иногда находит какие-то основания для отмены ранее вынесенного постановления о назначении наказания, действуя в интересах интернациональной семьи.

Некоторые зависимости более сложные. В частности, в строке размера штрафа («Fine-size») видно, что средние размеры штрафов (фиолетовые точки в отрицательных значениях) хорошо соотносятся с отказом в пересмотре ранее вынесенного постановления, тогда как низкие и высокие штрафы (синие и красные точки) имеют практически нулевую корреляцию с отменой ранее вынесенного постановления. Такой результат по рассматриваемой категории дел может иметь большое количество интерпретаций, что требует дальнейшего интеллектуального анализа.

Описанный выше метод позволяет выявлять значимость влияния любых параметров дела на результат его разрешения, а для прояснения и интерпретации полученных результатов допустимо использовать как традиционные методы, так и другие вычислительные инструменты.

Машинное обучение, основанное на методах классификации и регрессии [11], позволило построить дерево решений (рис. 4) по группе статей главы 18 КоАП РФ (статьи 18.1, 18.2, 18.8, 18.9, 18.10, 18.11, 18.15, 18.16 и 18.17). Полученное дерево показывает, что дерево решений обладает эвристическим потенциалом не только в отношении одной законодательной нормы (в административно-деликтной сфере — одной статьи либо части статьи), как это было показано в ранних работах авторов [12] [13], но и на группе законодательных норм. Это дерево решений построено с учетом не только фактических обстоятельств дела, но и различных статей КоАП РФ и временных периодов (лет).

Рис. 4. Дерево решений по группе статей главы 18 КоАП РФ

Полученное дерево показало, что на основе больших данных можно выявить сходство в решении правовых вопросов (в данном случае: определения размера штрафа) не только по одному виду правонарушения, но по группе правонарушений. Индикатором специфичности правового решения в данном случае выступает статья КоАП РФ (вид правонарушения), которая находится в основании ветвления дерева (статья 18.15) и на более низких уровнях (статья 18.11). Неспецифичные решения не зависят от вида правонарушения, поэтому другие статьи КоАП РФ (18.1, 18.2, 18.8, 18.9, 18.10, 18.16 и 18.17) в дереве не фигурируют, что является вариантом индикатора предметной однородности. На рис. 4 видно, что для решения вопросов по статье 18.15 (правая часть дерева) имеет значение период времени (2016 г.), который определил классификационную значимость одного из двух обстоятельств: содействие в раскрытии правонарушении для 2016 г., признание вины — для прочих лет.

6. Заключение

В современной правовой политике принято оперировать правовыми целями как основанием для принятия определенных решений в сфере законотворчества, толкования права и правоприменения. Использование индикаторов позволяет проверить, были ли достигнуты поставленные политико-правовые цели. При описании юридических целей часто бывает трудно сравнить конкретные показатели с этими целями. В настоящее время эта проблема может быть частично решена привлечением экспертных оценок, но в будущем накопление знаний о взаимосвязи между правовыми целями, индикаторами и вычислительными методами их идентификации может снизить роль экспертных знаний для оценки оптимизации законодательства и правоприменения.

Вычислительные методы и набор индикаторов могут быть разработаны как основа для принятия решений в области правовой политики. Преимущества данной методологии — объективность выводов, основанная на методологии, открытой для публичной проверки, и больших юридических данных, обеспечивающих полноту исследования. В то же время экспертная оценка или иные средства контроля вычислений всегда должны служить одним из инструментов проверки адекватности расчетных выводов на каком-либо этапе исследования.

Библиография
1.
Трофимов Е. В., Мецкер О. Г. Использование компьютерных методов и систем в изучении права, интеллектуальном анализе и моделировании правовой деятельности: систематический обзор // Труды Института системного программирования РАН. 2020. Т. 32, вып. 3. С. 147–170. DOI: 10.15514/ISPRAS-2020-32(3)-13.
2.
Atkinson K., Bench-Capon T., Bollegala D. Explanation in AI and law: Past, present and future // Artificial Intelligence. 2020. Vol. 289. DOI: 10.1016/j.artint.2020.103387.
3.
Davis K. E. Legal indicators: The power of quantitative measures of law // Annual Review of Law and Social Science. 2014. Vol. 10, № 1. Pp. 37–52. DOI: 10.1146/annurev-lawsocsci-110413-030857.
4.
Metsker O., Trofimov E., Sikorsky S., Kovalchuk S. Text and Data Mining Techniques in Judgment Open Data Analysis for Administrative Practice Control // Communications in Computer and Information Science. 2019. Vol. 947. Pp. 169–180. DOI: 10.1007/978-3-030-13283-5_13.
5.
Metsker O., Trofimov E., Petrov M., Butakov N. Russian Court Decisions Data Analysis Using Distributed Computing and Machine Learning to Improve Lawmaking and Law Enforcement // Procedia Computer Science. 2019. Vol. 156. Pp. 264–273. DOI: 10.1016/j.procs.2019.08.202.
6.
Metsker O., Trofimov E., Grechishcheva S. Natural Language Processing of Russian Court Decisions for Digital Indicators Mapping for Oversight Process Control Efficiency: Disobeying a Police Officer Case // Communications in Computer and Information Science. 2020. Vol. 1135. Pp. 295–307. DOI: 10.1007/978-3-030-39296-3_22.
7.
Отчет о работе судов общей юрисдикции по рассмотрению дел об административных правонарушениях (форма № 1-АП) за 12 месяцев 2016 г. // Судебный департамент при Верховном Суде Российской Федерации [Сайт]. URL: http://www.cdep.ru/userimages/sudebnaya_statistika/2016/F1ap-svod-2016.xls (дата обращения: 01.09.2020).
8.
Отчет о работе судов общей юрисдикции по рассмотрению дел об административных правонарушениях (форма № 1-АП) за 12 месяцев 2017 г. // Судебный департамент при Верховном Суде Российской Федерации [Сайт]. URL: http://www.cdep.ru/userimages/sudebnaya_statistika/2017/F2-svod-2017.xls (дата обращения: 01.09.2020).
9.
Отчет о работе судов общей юрисдикции по рассмотрению дел об административных правонарушениях (форма № 1-АП) за 12 месяцев 2018 г. // Судебный департамент при Верховном Суде Российской Федерации [Сайт]. URL: http://www.cdep.ru/userimages/sudebnaya_statistika/2019/F2-svod_vse_sudy-2018.xls (дата обращения: 01.09.2020).
10.
Lundberg S. M., Lee S.-I. A unified approach to interpreting model predictions // Advances in Neural Information Processing Systems 30: 31st Annual Conference on Neural Information Processing Systems (NIPS 2017): Proceedings of a meeting held 4–9 December 2017, Long Beach, California, USA / Guyon I., Luxburg U. von, Bengio S., Wallach H. M., Fergus R., Vishwanathan S. V. N., Garnett R. (eds.). Montreal: Curran Associates, 2017. Pp. 4765–4774.
11.
Wu X., Kumar V., Quinlan J. R., Ghosh J., Yang Q., Motoda H., McLachlan G. J., Ng A., Liu B., Yu P. S., Zhou Z.-H., Steinbach M., Hand D. J., Steinberg D. Top 10 algorithms in data mining // Knowledge and Information Systems. 2008. Vol. 14. Pp. 1–37. DOI: 10.1007/s10115-007-0114-2.
12.
Мецкер О. Г., Трофимов Е. В. Совершенствование административно-деликтного регулирования на основе электронных данных судебной практики // Право. Общество. Государство: сб. науч. тр. студентов и аспирантов. Т. 4 / редкол.: Д. В. Рыбин (пред.) [и др.]. СПб.: С.-Петерб. ин-т (фил.) ВГУЮ (РПА Минюста России), 2018. 152 с. С. 140–151.
13.
Трофимов Е. В., Мецкер О. Г. Право и искусственный интеллект: опыт разработки вычислительной методологии для анализа и оценки качественных изменений в законодательстве и правоприменительной практике (на примере статьи 20.4 Кодекса Российской Федерации об административных правонарушениях) // Право и политика. 2019. № 8. С. 1–17. DOI: 10.7256/2454-0706.2019.8.30306
References (transliterated)
1.
Trofimov E. V., Metsker O. G. Ispol'zovanie komp'yuternykh metodov i sistem v izuchenii prava, intellektual'nom analize i modelirovanii pravovoi deyatel'nosti: sistematicheskii obzor // Trudy Instituta sistemnogo programmirovaniya RAN. 2020. T. 32, vyp. 3. S. 147–170. DOI: 10.15514/ISPRAS-2020-32(3)-13.
2.
Atkinson K., Bench-Capon T., Bollegala D. Explanation in AI and law: Past, present and future // Artificial Intelligence. 2020. Vol. 289. DOI: 10.1016/j.artint.2020.103387.
3.
Davis K. E. Legal indicators: The power of quantitative measures of law // Annual Review of Law and Social Science. 2014. Vol. 10, № 1. Pp. 37–52. DOI: 10.1146/annurev-lawsocsci-110413-030857.
4.
Metsker O., Trofimov E., Sikorsky S., Kovalchuk S. Text and Data Mining Techniques in Judgment Open Data Analysis for Administrative Practice Control // Communications in Computer and Information Science. 2019. Vol. 947. Pp. 169–180. DOI: 10.1007/978-3-030-13283-5_13.
5.
Metsker O., Trofimov E., Petrov M., Butakov N. Russian Court Decisions Data Analysis Using Distributed Computing and Machine Learning to Improve Lawmaking and Law Enforcement // Procedia Computer Science. 2019. Vol. 156. Pp. 264–273. DOI: 10.1016/j.procs.2019.08.202.
6.
Metsker O., Trofimov E., Grechishcheva S. Natural Language Processing of Russian Court Decisions for Digital Indicators Mapping for Oversight Process Control Efficiency: Disobeying a Police Officer Case // Communications in Computer and Information Science. 2020. Vol. 1135. Pp. 295–307. DOI: 10.1007/978-3-030-39296-3_22.
7.
Otchet o rabote sudov obshchei yurisdiktsii po rassmotreniyu del ob administrativnykh pravonarusheniyakh (forma № 1-AP) za 12 mesyatsev 2016 g. // Sudebnyi departament pri Verkhovnom Sude Rossiiskoi Federatsii [Sait]. URL: http://www.cdep.ru/userimages/sudebnaya_statistika/2016/F1ap-svod-2016.xls (data obrashcheniya: 01.09.2020).
8.
Otchet o rabote sudov obshchei yurisdiktsii po rassmotreniyu del ob administrativnykh pravonarusheniyakh (forma № 1-AP) za 12 mesyatsev 2017 g. // Sudebnyi departament pri Verkhovnom Sude Rossiiskoi Federatsii [Sait]. URL: http://www.cdep.ru/userimages/sudebnaya_statistika/2017/F2-svod-2017.xls (data obrashcheniya: 01.09.2020).
9.
Otchet o rabote sudov obshchei yurisdiktsii po rassmotreniyu del ob administrativnykh pravonarusheniyakh (forma № 1-AP) za 12 mesyatsev 2018 g. // Sudebnyi departament pri Verkhovnom Sude Rossiiskoi Federatsii [Sait]. URL: http://www.cdep.ru/userimages/sudebnaya_statistika/2019/F2-svod_vse_sudy-2018.xls (data obrashcheniya: 01.09.2020).
10.
Lundberg S. M., Lee S.-I. A unified approach to interpreting model predictions // Advances in Neural Information Processing Systems 30: 31st Annual Conference on Neural Information Processing Systems (NIPS 2017): Proceedings of a meeting held 4–9 December 2017, Long Beach, California, USA / Guyon I., Luxburg U. von, Bengio S., Wallach H. M., Fergus R., Vishwanathan S. V. N., Garnett R. (eds.). Montreal: Curran Associates, 2017. Pp. 4765–4774.
11.
Wu X., Kumar V., Quinlan J. R., Ghosh J., Yang Q., Motoda H., McLachlan G. J., Ng A., Liu B., Yu P. S., Zhou Z.-H., Steinbach M., Hand D. J., Steinberg D. Top 10 algorithms in data mining // Knowledge and Information Systems. 2008. Vol. 14. Pp. 1–37. DOI: 10.1007/s10115-007-0114-2.
12.
Metsker O. G., Trofimov E. V. Sovershenstvovanie administrativno-deliktnogo regulirovaniya na osnove elektronnykh dannykh sudebnoi praktiki // Pravo. Obshchestvo. Gosudarstvo: sb. nauch. tr. studentov i aspirantov. T. 4 / redkol.: D. V. Rybin (pred.) [i dr.]. SPb.: S.-Peterb. in-t (fil.) VGUYu (RPA Minyusta Rossii), 2018. 152 s. S. 140–151.
13.
Trofimov E. V., Metsker O. G. Pravo i iskusstvennyi intellekt: opyt razrabotki vychislitel'noi metodologii dlya analiza i otsenki kachestvennykh izmenenii v zakonodatel'stve i pravoprimenitel'noi praktike (na primere stat'i 20.4 Kodeksa Rossiiskoi Federatsii ob administrativnykh pravonarusheniyakh) // Pravo i politika. 2019. № 8. S. 1–17. DOI: 10.7256/2454-0706.2019.8.30306

Результаты процедуры рецензирования статьи

В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Со списком рецензентов издательства можно ознакомиться здесь.

Предмет исследования посвящен отдельным не правовым аспектам «оптимизации законодательства и правоприменения» на основе индикаторов и методам «их идентификации и использования на основе больших данных». При этом автор останавливается на опытах «вычислительных экспериментов на судебных актах по делам об административных правонарушениях, предусмотренных главой 18» КоАП РФ.
Методология исследования – ряд методов: «различные компьютерные методы, включая моделирование знаний, методы обработки естественного языка и методы машинного обучения (корреляционный анализ, классификацию, регрессию, ранжирование и др.). С названными методами были сопряжены в рамках междисциплинарной парадигмы методы системного анализа и экспертной оценки», правильно используемых автором.
Актуальность обоснована автором во введении к статье и выражается в следующем: «… во многих странах разрабатываются и внедряются компьютерные методы и системы для изучения права, интеллектуального анализа и моделирования правовой деятельности, так что сегодня наблюдаются успехи …».
Тут же автор при постановке проблемы говорит о том, что в «условиях динамичного развития правовой системы обработка и анализ юридических данных традиционными методами, включая правовую статистику и экспертные оценки, носят крайне ограниченный характер…» и автор отмечает, что «… важную проблему составляет объяснительная задача в построении системы юридической аргументации [2]. Соединение двух названных проблем определяет направление междисциплинарного научного поиска».
Научная новизна для данного журнала не обоснована в исследовании автора.
Стиль, структура, содержание заслуживают особого внимания. Исследование имеет необходимые структурные элементы, что конечно приветствуется.
Стиль работы хороший, она легко читается и носит исследовательский характер.
Содержание отражает существо статьи.
Автор логично подводит читателя к существующей проблеме. В начале статьи автор акцентирует внимание читателя на предмете статьи и цели исследования: «... посвящено разработке и обоснованию методологии качественной оценки оптимизации законодательства и правоприменительной практики на основе анализа больших данных». Автором отмечается, что ими могут быть «индикаторы как средства исследования». Но отмечается, что они уже используются в исследованиях, в основном зарубежными учеными. Автор ограничивает свое исследование следующими вопросами: «В настоящей статье представлены результаты вычислительных экспериментов на судебных актах по делам об административных правонарушениях, предусмотренных главой 18» КоАП РФ (тексты «50438 судебных актов»).
Далее идет описание результатов. Автор отмечает ряд «…индикаторов оптимизации законодательства и правоприменения, прежде всего — временного индикатора, индикатора индивидуализации наказания и индикатора предметной однородности».
Можно лишь отметить, что язык юриста и математика – это два разных языка и рис. 1 не совсем понятен в данной статье (без дополнительного объяснения). Хотя автор и пытается что-то обосновать, но рис. 1 как был не понятен, так им и остается!
Хотя автор на основе одному ему понятных данных и делает определенные выводы, в частности: «Таким образом, временной индикатор показывает существенность влияния законодательных изменений на реальную правоприменительную практику», «Корреляционный анализ позволяет всего лишь выявить доменные области, в которых произошли изменения в рассматриваемые временные промежутки». Это конечно хорошо. Но юристы и так знают об этом.
Однако автор делая промежуточный вывод: «Описанный выше метод позволяет выявлять значимость влияния любых параметров дела на результат его разрешения…», отмечает : «… для прояснения и интерпретации полученных результатов допустимо использовать как традиционные методы, так и другие вычислительные инструменты». А зачем?
Далее автор замечает, что однозначного ответа на поставленные вопросы нет: «В настоящее время эта проблема может быть частично решена привлечением экспертных оценок…».
В заключение автор подводит итог, отмечая: «… в будущем накопление знаний о взаимосвязи между правовыми целями, индикаторами и вычислительными методами их идентификации может снизить роль экспертных знаний для оценки оптимизации законодательства и правоприменения».
«Интересный» вывод об отсутствии необходимости экспертов-юристов («снизить роль экспертных знаний»)!!!
Так недалеко и до замены на всех этапах юристов, что приведет только к компьютерам и компьютерщикам. Кстати на этом настаивают и другие ученые, но есть необходимость на перевод рутинной работы юристов через компьютерные программы, но замена экспертов – это уже слишком. Правда автор оговаривается: «Преимущества данной методологии — объективность выводов, основанная на методологии, открытой для публичной проверки, и больших юридических данных, обеспечивающих полноту исследования» и «В то же время экспертная оценка или иные средства контроля вычислений всегда должны служить одним из инструментов проверки адекватности расчетных выводов на каком-либо этапе исследования».
Как нам кажется, приведены определенные, но неоднозначные и не дающие для практики и теории выводы.
Необходимо констатировать, что журнал «Юридические исследования», в который представлена статья является научным и юридическим, и автор направил в издательство статью, не полностью соответствующую требованиям, предъявляемым к научным публикациям, в частности материал больше подходит для специальных журналов, в которых кстати и опубликованы многие работы авторов. Для научной полемики он обращается к текстам научных статей не оппонентов, а своим, причем опубликованным, кроме двух в неюридических журналах.
Библиография не достаточно полная.
Выводы – работа интересная, но перегружена информатикой, и как кажется не претендует на опубликование в данном журнале.
Интерес читательской аудитории будет присутствовать только для других журналов, другой направленности, что кстати и подкрепляется публикациями авторов.

Результаты процедуры повторного рецензирования статьи

В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Со списком рецензентов издательства можно ознакомиться здесь.

Предмет исследования в представленной статье, как следует из ее наименования, составила проблема индикаторов оптимизации законодательства и правоприменения, а также методов их идентификации и использования на основе больших данных. При этом вычислительные эксперименты проводились на судебных актах по делам об административных правонарушениях, предусмотренных главой 18 Кодекса Российской Федерации об административных правонарушениях. Заявленные границы исследования полностью соблюдены автором.
Методология исследования указана автором: в основном она представлена компьютерными методами, включая моделирование знаний, методы обработки естественного языка и методы машинного обучения (корреляционный анализ, классификацию, регрессию, ранжирование и прочее). Как отметил автор, в рамках междисциплинарной парадигмы наряду с перечисленными методами были использованы методы системного анализа и экспертной оценки
Актуальность темы исследования, избранной автором, несомненна и раскрывается им во вводной части работы. Традиционные методы обработки анализа юридических данных в условиях цифровой реальности утрачивают свое былое значение в силу их субъективизма, косности и недостаточной эффективности. Настало время предложить новую методологию оценки законодательства и правоприменительной практики, что и было сделано ученым.
Научная новизна работы состоит в том, что автор разработал и обосновал методологию качественной оценки оптимизации законодательства и правоприменительной практики на основе анализа объемных данных (предложил следующие индикаторы оптимизации законодательства и правоприменительной практики: временной индикатор, индикатор индивидуализации наказания и индикатор предметной однородности; произвел их верификацию на основе данных судебной статистики).
Научный стиль работы выдержан автором в полной мере.
Структура работы вполне логична. В ней выделено 6 подразделов: 1) введение (в котором автор указывает, что в настоящее время компьютерные методы и системы с успехом могут быть использованы для изучения права, анализа и моделирования правовой деятельности); 2) проблема (автор указывает, что традиционные методы обработки и анализа юридических данных уже утратили свое значение, зачастую косны и субъективны); 3) цель (заключающаяся в разработке и обосновании «… методологии качественной оценки оптимизации законодательства и правоприменительной практики на основе анализа больших данных»); 4) методология («… компьютерные методы, включая моделирование знаний, методы обработки естественного языка и методы машинного обучения (корреляционный анализ, классификацию, регрессию, ранжирование и др.). С названными методами были сопряжены в рамках междисциплинарной парадигмы методы системного анализа и экспертной оценки»); 5) результаты (основная часть, в которой рассматриваются индикаторы оптимизации законодательства и правоприменения - временной индикатор, индикатор индивидуализации наказания и индикатор предметной однородности; производится их верификация на основе данных судебной статистики); 6) заключение (содержащее общие выводы по результатам исследования).
Содержание работы полностью соответствует заявленной теме исследования.
Среди достоинств исследования необходимо отметить следующие: автором избрана достаточно сложная тема исследования, имеющая междисциплинарный характер; ученому удалось предложить эффективную методологию оценки юридических данных большого объема; наконец, убедительность суждений автора подтверждается данными правовой статистики (эмпирическая база исследования была сформирована из текстов 50438 судебных актов по делам об административных правонарушениях, предусмотренных отдельными статьями главы 18 КоАП РФ).
Вместе с тем работа не лишена некоторых недостатков.
Во-первых, в статье имеются схемы («Корреляционная матрица данных, извлеченных из судебных актов»; «Значимость признаков для размера административного штрафа»; «Распределение значимости признаков для исхода дела»; «Дерево решений по группе статей главы 18 КоАП РФ»), надписи на которых не переведены с английского языка на русский. Между тем не все представители потенциальной читательской аудитории владеют английским языком на уровне автора, а некоторые изучали другой иностранный язык (французский, немецкий и т.д.).
В-вторых, автор ссылается на ряд теоретических работ только в подтверждение своих суждений. Как следствие, складывается впечатление, что поднимаемые в статье проблемы не носят дискуссионного характера (что не соответствует действительности).
Библиография исследования представлена 13 источниками, среди которых 10 составили теоретические работы (в том числе 7 – на английском языке), 3 – аналитические материалы (отчеты о работе судов общей юрисдикции). Формально, с учетом малоизученности проблем, затрагиваемых автором, этого достаточно. Фактически автор не вступает в научную дискуссию с другими учеными. В связи с этим ученому рекомендуется усилить теоретическую базу исследования за счет обращения к ряду диссертационных работ, к примеру, Ю. М. Блохина (Разработка интеллектуальной программной среды для построения интегрированных экспертных систем: автореф. дис. …канд. тех. наук. М., 2017), Ар Кар Мьо (Исследование и разработка методов и программных средств интеллектуального анализа данных на основе прецедента: автореф. дис. …канд. тех. наук. М., 2017), А. С. Катасева (Методы и модели формирования нечетких правил в интеллектуальных системах диагностики состояния сложных объектов: автореф. дис. …докт. тех. наук. Казань, 2014), научным статьям В. А. Еровенко, Ю. С. Харитоновой и др. Использование дополнительных материалов позволит автору изложить материал статьи с большей глубиной и, возможно, дополнительно обосновать предлагаемый им подход по разработке и обоснованию методологии качественной оценки оптимизации законодательства и правоприменительной практики на основе анализа больших данных.
Апелляция к оппонентам, как уже было указано выше, отсутствует. .
Выводы по результатам исследования имеются и обладают свойством несмоненной научной новизны. Они заключается в том, что набор индикаторов и вычислительные методы должны в перспективе стать основой для принятия решений в сфере правовой политики, поскольку они позволяют обеспечить объективность данных, их публичную открытость и полноту. Экспертная оценка и иные средства контроля вычислений должны статьи дополнительными инструментами.
Интерес читательской аудитории к представленной статье может быть проявлен со стороны специалистов в сфере конституционного права, административного и административного процесса. Статья может быть рекомендована к публикации.
Ссылка на эту статью

Просто выделите и скопируйте ссылку на эту статью в буфер обмена. Вы можете также попробовать найти похожие статьи


Другие сайты издательства:
Официальный сайт издательства NotaBene / Aurora Group s.r.o.
Сайт исторического журнала "History Illustrated"