Статья 'Правила безопасности эвристических алгоритмов поведения, как прообраз «морали» робототехнических систем' - журнал 'Национальная безопасность / nota bene' - NotaBene.ru
по
Меню журнала
> Архив номеров > Рубрики > О журнале > Авторы > Требования к статьям > Редакция > Порядок рецензирования статей > Редакционный совет > Ретракция статей > Этические принципы > О журнале > Политика открытого доступа > Оплата за публикации в открытом доступе > Online First Pre-Publication > Политика авторских прав и лицензий > Политика цифрового хранения публикации > Политика идентификации статей > Политика проверки на плагиат
Журналы индексируются
Реквизиты журнала
ГЛАВНАЯ > Вернуться к содержанию
Национальная безопасность / nota bene
Правильная ссылка на статью:

Правила безопасности эвристических алгоритмов поведения, как прообраз «морали» робототехнических систем

Тиханычев Олег Васильевич

ORCID: 0000-0003-4759-2931

кандидат технических наук

заместитель начальника отдела управления перспективных разработок, ГК "Техносерв"

111395, Россия, г. Москва, ул. Юности, 13

Tikhanychev Oleg Vasilyevich

PhD in Technical Science

Deputy Head of Department in the Office of Advanced Development, Technoserv Group 

111395, Russia, Moscow, Yunosti str., 13

tow65@yandex.ru
Другие публикации этого автора
 

 

DOI:

10.7256/2454-0668.2022.6.38856

EDN:

ONCJRV

Дата направления статьи в редакцию:

29-09-2022


Дата публикации:

30-12-2022


Аннотация: Актуальность выбора предмета исследования, как применение автономных робототехнических систем различного назначения и объекта исследования, которым являются алгоритмические проблемы, возникающие в части контроля безопасности алгоритмов, определяется имеющимся противоречием между потребностью автономизации робототехнических систем и сложностью программной реализации этого требования. Исследование проведено на примере применения робототехники в области автономных транспортных систем. Реализация тенденций автономизации в этой сфере порождает определённые правовые и технологические проблемы, связанные с безопасностью алгоритмического обеспечения автономных систем. Проявлением подобных проблем являются критичные ошибки применения, которые проблематично выявить на этапе разработки. В робототехнике основная потенциальная причина появления этих ошибок – функционирование программного обеспечения автономных робототехнических систем вне рамок детерминированных алгоритмов, которые тестировались в ходе их разработки.   И если для обычных технических систем последствия ошибок применения предсказуемы, а ответственность за их результаты определена, то для случая применения автономных роботов, ситуация требует решения. В статье, с применением общенаучных методов анализа и синтеза, исследованы основные аспекты современного состояния и перспективы проблемы алгоритмизации применения автономных систем. На основе обзорного анализа алгоритмических проблем применения автономных роботов, возможных последствий и причин появления алгоритмических ошибок, возникающих при их применении, синтезирована постановка научной задачи решения проблемы разработки эвристических алгоритмов, определяющих их применение с использованием динамически формируемой системы предикат поведения, аналогичных человеческой морали


Ключевые слова:

безопасность робототехнических систем, автономная робототехника, контроль эвристических алгоритмов, методы контроля безопасности, внешние ограничения поведения, внутренние ограничения поведения, ограничения алгоритмов, проверка безопасности алгоритмов, методы проверки алгоритмов, правила поведения роботов

Abstract: The relevance of choosing the subject of research, as the use of autonomous robotic systems for various purposes and the object of research, which are algorithmic problems arising in terms of algorithm security control, is determined by the existing contradiction between the need for autonomous robotic systems and the complexity of the software implementation of this requirement. The study was conducted on the example of the application of robotics in the field of autonomous transport systems. The implementation of trends of autonomization in this area generates certain legal and technological problems related to the security of algorithmic support of autonomous systems. The manifestation of such problems are critical application errors that are problematic to identify at the development stage. In robotics, the main potential cause of these errors is the functioning of the software of autonomous robotic systems outside the framework of deterministic algorithms that were tested during their development. And if for conventional technical systems the consequences of application errors are predictable, and responsibility for their results is determined, then for the case of autonomous robots, the situation requires a solution. In the article, using general scientific methods of analysis and synthesis, the main aspects of the current state and prospects of the problem of algorithmization of the use of autonomous systems are investigated. Based on a review analysis of algorithmic problems of using autonomous robots, possible consequences and causes of algorithmic errors arising from their use, the formulation of the scientific problem of solving the problem of developing heuristic algorithms that determine their application using a dynamically formed system of predicate behavior similar to human morality is synthesized.


Keywords:

safety of robotic systems, autonomous robotics, control of heuristic algorithms, security control methods, external constraints on behavior, internal limits of behavior, algorithm limitations, algorithm security check, methods for checking algorithms, rules of behavior for robots

Введение

С появлением самых первых механизмов, начали формироваться как объективные правила их применения, так и субъективное отношение к механическим усилителям и заменителям функций человека. Росла сложность механизмов, сложнее и многообразнее становились данные правила и отношения. Их квинсистенцией можно считать взаимодействие человека с робототехническими системами. В аспекте тематики статьи можно отметить, что при выстраивании взаимодействия с механизмами, в том числе роботизированными, большое значение уделялось безопасности. Принимались меры для её обеспечения, сначала простые: кинетическую опасность парировали физическим разделением в пространстве, например, созданием защитных ограждений в роботизированных цехах. Разнообразие и область применения роботов увеличивались, робототехника более активно проникала в разные сферы деятельности: промышленность, транспорт, военное дело, росло общее количество применяемых роботов, и, соответственно, вероятность причинения ими ущерба.

Вполне закономерно, что к настоящему времени можно привести достаточно большое количество происшествий в процессе эксплуатации промышленных роботов и роботизированных транспортных средств. Наиболее представительная выборка подобных примеров – в части применения робототехнических систем в военном деле. Первоначально в боевых условиях роботы использовались для проведения разведки и разминирования, как одноразовые или многоразовые средства поражения. С развитием роботизированного вооружения, появилась возможность создания автономных боевых систем (Lethal autonomous robotics, LAR), применение которых объективно востребовано в условиях современного боя. 17 октября 2001 года, в ходе операции коалиционных сил США и НАТО в Афганистане зафиксирован первый случай применения оснащенного управляемой ракетой беспилотного летательного аппарата (БЛА) MQ-1 «Predator» для поражения самоходной зенитной установки с находящейся в ней расчётом. Уже не управляемый боеприпас, а роботизированный носитель обнаружил цель и применил вооружение по обитаемому объекту, но решение на удар удалённо выдал человек-оператор. А в марте 2021 года произошло событие, явившееся определённой вехой в истории взаимоотношений человека и созданных им механизмов: ударный беспилотный квадрокоптер Kargu-2 самостоятельно применил оружие, обнаружив и уничтожив цель без команды оператора. Как было отмечено впоследствии в докладе Совета безопасности ООН – это первый в истории случай, когда автономный аппарат совершил атаку, отрабатывая алгоритм автоматического поиска и уничтожения цели, не дожидаясь разрешения оператора.

Автономные беспилотные средства на дорогах, хоть и не предназначены для намеренного причинения ущерба, и, более того, запрограммированы на недопущение этого, тоже несут в себе определённую опасность. Она обусловлена не только ошибками собственного программного обеспечения роботов, но и их реакцией на поведение водителей и пешеходов, которые могут совершать действия, не всегда отвечающие логике поведения, записанной в типовых алгоритмах. Результатом являются дорожные происшествия, аварии и даже катастрофы. Первая катастрофа с участием беспилотного автомобиля зафиксирована в американском штате Флорида в 2016 году: робокар Tесла Model S под управлением автопилота протаранил грузовик с прицепом, погиб человек. Впоследствии отмечено ещё несколько аналогичных аварий разной степени тяжести. К сожалению, нет оснований считать этот список закрытым.

Исходя из складывающейся ситуации, появилась объективная необходимость надежного обеспечения безопасности применения робототехнических систем во всех сферах деятельности. Один из наиболее очевидных подходов снижения ошибок, с учётом того, что все современные роботизированные средства управляются с применением специализированного программного обеспечения (ПО) – реализация безопасности алгоритмов, которые реализуются указанным ПО.

Но, практическая реализация этого очевидного подхода затрудняется объективными сложностями, возникающими при попытках контролировать алгоритмы поведения робототехнических систем, особенно автономных [1,2]. А автономной в той или иной степени можно назвать любую робототехническую систему: даже действую под управлением оператора, она всё равно часть элементарных функций реализует самостоятельно, как и самостоятельно система начинает действовать при потере управления.

Возникает противоречие между потребностью в реализации автономных систем и возможностью безопасного внедрения подобного функционала в системы управления робототехнических устройств. Сформулированное противоречие порождает проблему, находящуюся на стыке правовой и технической областей регулирования: все используемые сейчас методы обеспечения безопасности робототехнических систем основаны на принципе неизменности заложенных в каждую систему детерминированных алгоритмов. Но, если принять то, что используемый алгоритм может быть адаптивным и, следовательно, модифицируемым, то он уже будет относиться к классу эвристических, и разработчик не может в полной мере отвечать за применение робототехнической системы после модификации того, что было им разработано и протестировано, а эксплуатант, в свою очередь, не может гарантированно отвечать за применение системы с не полностью известными ему принципами поведения.

Возникшее противоречие между необходимостью использования автономных роботов и проблемами безопасности их применения, определяется, в первую очередь, отсутствием надёжных методов контроля их алгоритмического обеспечения и требует оперативного решения. Что определяет актуальность темы, сформулированной в статье.

1.Анализ существующих проблем обеспечения безопасности алгоритмов робототехнических систем

Практика показывает, что наиболее актуальны проблемы контроля алгоритмического обеспечения автономных робототехнических систем в тех областях, где объективное требование автономности применения входит в противоречие с необходимостью обеспечения безопасности применения.

Осознавая это, разработчики программных средств для управления робототехническими системами пытаются реализовать определённые меры, в настоящее время, в связи с отсутствием других возможностей – преимущественно организационные. Примером может служить концепция использования искусственного интеллекта в военном деле, разработанная Минобороны США (US Department of Defense) и задающая основные принципы использования систем искусственного интеллекта в системах военного и двойного назначения [3], другие зарубежные регулирующие документы [4,5]. Положения данных документов реализуются в методиках контроля алгоритмов, например, контроля разработок в области искусственного интеллекта в ВС США и НАТО [6] реализуется программа тестирования TEVV (Testing, Evaluating, Verifying and Validating)

В нашей стране, разумеется, тоже разрабатываются документы, нормирующие применение искусственного интеллекта, в том числе в части особенностей, регламентирующих безопасность его алгоритмов. Примером может служить «Концепция развития регулирования отношений в сфере технологий искусственного интеллекта и робототехники на период до 2024 года», введённая в действие распоряжением Правительства РФ от 19 августа 2020 г. № 2129-р. В рамках реализации данной концепции, в 2021 году разработан «Национальный кодекс этики в сфере искусственного интеллекта».

Но, в практике использования подобных документов имеются нюансы.

Во-первых, как показывает анализ, у всех принимаемых законов и нормативных актов, как российских, так и зарубежных, есть общая проблема – они по содержанию самодостаточные, носят, преимущественно, описательный характер, не раскрывая механизмов реализации изложенных в них требований. А, с точки зрения практической реализации, именно отсутствие таких механизмов не позволяет решить проблему безопасности алгоритмов поведения робототехнических систем.

Во-вторых, ни один из разработанных документов не признаёт актором искусственный интеллект, все они описывают исключительно ответственность разработчиков и эксплуатантов. То есть, эти концепции – не положения для безопасного развития робототехники, а только основа для регламентирования действий её разработчиков и эксплуатантов, чего, конечно, недостаточно в условиях требования по повышению автономности робототехнических систем.

Можно возразить, что для систем с жёсткими алгоритмами и обучением с учителем (supervised learning), когда знания и алгоритмы меняются под контролем человека, решение по обеспечению безопасности в существующих условиях ещё может быть найдено, пусть хотя бы организационными методами.

Намного критичнее ситуация с самообучаемыми системами (unsupervised learning), с так называемым «сильным» искусственным интеллектом. Разумеется, базовые алгоритмы поведения этих систем в процессе самообучения пишет разработчик, он же задаёт правила для формирования новых алгоритмов в ходе обучения. Но где кончается контролируемая вложенность, до какого уровня можно быть безусловно уверенным в безопасности модифицируемых алгоритмов? Ведь формально, на каком-то этапе связь системы с разработчиком может прерваться и автономная система с самообучением, начнёт действовать по совсем иным правилам, отличным от заложенных при её разработке. Насколько они будут безопасны? Определить это заранее невозможно, но обеспечить безопасность объективно необходимо. Разрешить это противоречие, по крайней мере, на современном этапе развития предметной области, можно только задавая безусловные ограничения, не зависящие от изменчивости алгоритмов, в том числе эвристических.

Исходя из этого, для обеспечения применения автономных робототехнических систем, нужен механизм обеспечения безопасности, конкретный, основанный не на декларациях или запретах, описанных в общем виде, а на строгих математических правилах с подтверждённой эффективностью.

2.Возможные подходы к организации контроля безопасности алгоритмов

В настоящее время разработка алгоритмов, реализуемых в составе программного обеспечения, в том числе для робототехнических систем, осуществляется по определённым правилам, задаваемым нормативной документацией: международными и национальными стандартами (например, в Российской Федерации, по ГОСТ Р 60.2.2.1-2016/ ИСО 13482: 2014; Р 60.1.2.2-2016/ISO 10218-2:2011), техническими регламентами, другими подобными документами. Но, как показывает анализ предметной области, все существующие нормативные документы изначально ориентированы на разработку систем, реализующих детерминированные алгоритмы, то есть, все определяемые ими методы контроля основаны на принципе неизменности основных свойств алгоритмов. Анализ алгоритмов на наличие возможных ошибок при таком подходе производится сравнительными методами, предусматривающими применение формальных спецификаций и набора инструментов для синтаксического анализа и доказательства свойств алгоритмов.

Процесс доказательства эффективности и безопасности алгоритмов в настоящее время может осуществляться следующими способами:

· эвристический, основанный на анализе текстов реализующих их программ;

· по качественным критериям;

· по количественным показателям.

Первый подход используется для поэтапного (пооперационного) разбора сложных алгоритмов тестировщиками. Считается, что если все операции выполняются корректно, а их последовательность предсказуема, алгоритм безопасен. Это наиболее простая и субъективная из всех оценок.

Если результаты выполнения алгоритма можно комплексно оценить хотя бы в качественной форме, оценка его корректности осуществляется на основе заранее формируемого предиката. Такой подход реализован в упомянутой системе тестирования искусственного интеллекта TEVV. По условиям тестирования, если в результате реализации алгоритма на всём диапазоне возможных условий поведения предикат выполняется, алгоритм считается прошедшим испытание. Проблема данного метода в том, что он не имеет гарантированного подтверждения надёжности результата.

И, в случае, если результат реализации алгоритма возможно описать количественными параметрами, производится сравнение получаемых результатов с матрицей прогнозируемого соотношения входных-выходных данных. При этом используется так называемая «тройка Хоара», описывающая предусловия и постусловия, гарантирующие корректную работу проверяемого алгоритма:

{P}Q{S}

где P - предусловия, должные выполняться перед запуском программы Q;

R - постусловия, истинные после завершения работы реализующей алгоритм программы.

Проблема использования последнего метода заключается в необходимости описания всех без исключения возможных вариантов поведения исследуемой системы, что, в большинстве случаев, просто невозможно. Особенно для автономных систем и систем, действующих в группе.

Существуют и применяются ещё и косвенные методы контроля, например, анализ на надёжность и непротиворечивость всей совокупности используемых математических методов, служащий основой для формирования гипотезы о том, что нет оснований не доверять итоговому алгоритму, построенному на корректных методах. Но такие подходы строгого математического обоснования не имеют.

Более того, для систем, реализующих эвристические алгоритмы, рассмотренные подходы к тестированию корректно работать не могут по определению, в первую очередь в связи с тем, что качественные оценки предикатов или выходную матрицу «тройки Хоара» сформировать для них практически невозможно. Это определяется тем, что эвристические алгоритмы невозможно свести к виду детерминированных конечных автоматов. Вариант использования «теста Тьюринга», который иногда упоминают в ситуации контроля эвристических алгоритмов, в данном случае тоже неработоспособен, так как целевой установкой последнего является не контроль безопасности алгоритма, а только лишь установление его природы.

С учётом данных факторов, применяемые в настоящее время подходы контроля алгоритмов не обеспечивают безопасность использования автономных роботов, как в сфере вооруженного противоборства [7-10], так и в сфере мирного использования искусственного интеллекта [11,12].

В то же время, формулируя требования к разрабатываемым системам, заказчик и эксплуатанты автономных робототехнических комплексов оперируют такими требованиями к алгоритмам, как настраиваемость, модифицируемость (обучаемость и самообучаемость). Что подразумевает использование именно эвристических алгоритмов, но не отменяет соблюдения требований по безопасности поведения робототехнических систем.

В итоге становится актуальной задача контроля алгоритмов, заложенных в автономные системы, с учётом их возможной модификации в ходе эксплуатации (обучения, самообучения).

Сформулированная задача по своей сущности аналогична одной из проблем искусственного интеллекта: задаче удовлетворения ограничений (constraint satisfaction problem). Отметим, что для контроля безопасности эвристических алгоритмов, реализуемых в автономных робототехнических системах, эта задача до настоящего времени в прямой постановке не применялась.

В рамках задачи оптимизации поведения робототехнической системы, указанная задача может быть формализована в виде следующей связки:

· целевая функция с расчётными показателями вектора управления хj при условно постоянных коэффициентах сj;

· система из m ограничений поведения bi, описываемая в виде пределов изменения управляемых параметров .

Анализ системы ограничений bi позволяет разделить множество m на две группы:

· группа ограничений, реализуемых в составе самих алгоритмов, при их разработке, как правило, для заранее известных типовых ситуаций поведения;

· группа ограничений, формируемых при расчёте целевой функции в конкретных условиях поведения, относительно сложившейся ситуации и для всей системы в целом.

В соответствии с методами их формирования, первые логично определить как «внутренние» ограничения, вторые – как «внешние». При одинаковом, казалось бы, функционале, эти алгоритмы имеют разный физический смысл и разные принципы формирования. Для «внутренних» ограничений параметры целевой функции и значения могут быть определены однозначно и заранее, с учётом формируемого заблаговременно перечня типовых ситуаций и описания каждой из них. Для «внешних», множество вариантов параметров слишком велико и достоверно их полное множество определено быть не может.

Соответственно, возникает задача понять принципы применения разных групп ограничений и соотношение между ними в конкретных системах

Из анализа возможных ситуаций поведения можно сделать вывод, что в качестве «внутренних» ограничений можно использовать те, которые влияют на технические характеристики самой системы и могут быть надёжно спрогнозированы заранее: ограничения максимальной скорости при разных условиях движения, ограничение радиусов маневрирования в зависимости от скорости и возникающей предельной перегрузки, учёт габаритов системы при прохождении узкостей и другие аналогичные параметры.

«Внешние» ограничения могут формироваться на заранее не предусмотренные ситуации взаимодействия с внешней средой и другими участниками совместных действий: правил расхождения на пересекающихся курсах, правил перемещения в группе и тому подобное. Исходя из этого, к «внешним» ограничениям можно отнести задание границ поведения системы, описывающих допустимую область её применения в виде набора граничных правил. То есть ограничение не отдельных параметров функции F(x), и не частных алгоритмов выполнения операций, а вариантов итогового значения целевой функции в рамках пространства возможных поведенческих траекторий (областей).

При использовании разделения на «внешние» и «внутренние», необходимо учитывать, что использование каждого типа ограничений имеет свои особенности.

Так, применение с «внутренних» ограничений для эвристических алгоритмов может порождать ряд проблем их контроля:

Во-первых, алгоритмы на этапе разработки задаются для конкретного вида целевой функции, у которой в процессе поиска решения (выполнения задачи) предполагается изменять только управляемые параметры. В то же время, предусмотренная в автономных роботизированных системах динамическая модификация алгоритмов поведения может приводить к изменению не только управляемых параметров, но и самого вида поведенческой функции, что делает её контроль, проводимый на этапе разработки, малоэффективным;

Во-вторых, ограничения формируются заранее из условий безопасности самой робототехнической системы. И относительно этих условий алгоритмы могут быть проверены на безопасность в ходе приёмо-сдаточных испытаний. В реальной ситуации, при взаимодействии с переменчивой внешней средой и акторами, поведение которых заранее неизвестно, всё показатели, относительно которых проверялись алгоритмы, меняются. Соответственно, ранее проведённая проверка безопасности теряет легитимность.

А методов для достоверного обеспечения этой проверки пока нет и в обозримом будущем не предвидится. То есть, применение «внутренних» ограничений не может однозначно гарантировать безопасность поведения системы в целом.

Основной проблемой использования «внешних» ограничений является возможное урезание функционала робототехнической системы задаваемыми рамками поведения и крайне жесткие требования по динамичности их формирования бортовыми вычислительными средствами робототехнических систем.

Анализ предметной области показал, что выбор между «внутренними» и «внешними» ограничениями алгоритмов, а также ограничениями, автоматически формируемыми самой системой в рамках модификации алгоритмов её поведения, является одной из сложнейших проблем обеспечения безопасности функционирования автономных систем.

Если для решения задачи обеспечения безопасности применения автономных робототехнических систем выбирается метод «внутренних» ограничений, для контроля алгоритмов могут быть использованы известные подходы, реализуемые в качестве ограничений в оптимизационных методах поиска оптимума: поиск с отсечением, методы штрафных функций, методы согласования, генетические алгоритмы и другие. Впрочем, для эвристических алгоритмов, особенно самообучаемых систем, нет никаких гарантий на эффективность подобных методов. Более того, они, вероятно, не появятся и в обозримом будущем.

При выборе метода «внешних» ограничений, в качестве последних может быть использован принцип задания общих границ поведения системы: в пространстве и во времени, в виде набора разрешенных (запрещённых) пространственных и логических переменных, задаваемых в матричной или векторной форме. Данный метод является гарантированно надёжным, но может накладывать ограничения на функциональность автономных систем, а также существенно повышать требования к возможностям бортовых вычислителей.

Таким образом, оба рассматриваемых подхода имеют свои положительные стороны и недостатки, как с точки зрения простоты реализации и влияния на ограничение функциональности управляемой системы, так и обеспечения гарантированной безопасности её применения [13].

Исходя из этого, наиболее логичным представляется использование комбинированного подхода: там, где возможно по условиям модификации алгоритмов: использовать простые и динамичные «внутренние» ограничения, а для контроля поведения системы в целом – использовать «внешние» ограничения с гарантированной безопасностью. При этом, вероятно, объём ограничений будет сильно смещён в сторону «внешних» ограничений, так как «внутренние» можно использовать только в самых простых ситуациях, надёжно просчитываемых заранее.

При такой постановке задачи, вполне логично выстраивается аналогия с человеческой моралью, формирующей внутренние и общие правила поведения в различных условиях.

3.О принципах реализации предлагаемого подхода

Если принять гипотезу о работоспособности предлагаемого подхода к оценке безопасности эвристических алгоритмов, появляется задача описания принципов его реализации.

В рамках предлагаемого подхода определено, что одной из важнейших задач, решаемых при реализации алгоритмов, основанных на комбинированных ограничениях, является формирование предикатов, по которым будет проверяться безопасность реализации тех или иных действий. Возвращаясь к сформулированной аналогии с моралью, можно сказать, что потребуется сформировать нечто похожее на «категорический императив Канта», но для систем, управляемых искусственным интеллектом.

Можно напомнить, что в общем виде «категорический императив» строится на том, что побудительные мотивы человека не всегда ведут его к поступкам, полезным для других людей и общества в целом, так как зависят от объекта желания. Поэтому каждому индивидууму необходимо себя контролировать, оценивая результат каждого действия относительно того, может ли он быть принят как закон поведения в обществе. Причем, оценивая независимо от эмпирических условий, в которых происходит действие. И накладывая, тем самым, на себя некоторый императив, долг, по соблюдению безусловных правил поведения. С точки зрения контроля безопасности алгоритмов автономных робототехнических систем, такой императив будет заключаться в контроле безопасности эвристических алгоритмов перед реализацией каждой итерации поведения, осуществляемой на основе вычисления прогноза результата выполнения действия и оценки его последствий. В итоге, конечный результат будет оцениваться не только по эффективности применения системы, проявляющейся в конкретных условиях, но и на соответствие правилам, заданным как предикат корректного поведения.

Анализ показывает, что используемые правила, наверняка, будут несколько шире «трёх правил робототехники» Азимова.

Во-первых потому, что, как это не печально признать, в ряде ситуаций робот будет применяться против человека, например, для решения задач по защите людей и объектов в рамках различных форм вооруженного противоборства. Более того, и заявляемый многими специалистами принцип безусловного подчинения робота человеку, не всегда будет применяться в практике использования искусственного интеллекта. Конфликты последних десятилетий показывают множество примеров использования современных технологий двойного назначения с деструктивными целями: применение коммуникационно-навигационных и программных систем незаконными вооруженными группировками при ведении военных действий, использование самодельных или покупных БЛА для проведения терактов и тому подобное. И вполне логично предположить, что защита от такого использования должна быть встроена в программное обеспечение робототехнических систем, в том числе – через расширенный самоконтроль безопасности их алгоритмов. Напомним, в существующих концепциях развития искусственного интеллекта такие меры не предусмотрены.

Во-вторых потому, что, как отмечено ранее, робототехнические системы, в большинстве случаев, действуют не в обособленно – они применяются там, где уже могут находиться и решать задачи другие беспилотные и управляемые средства. Средства, точные намерения и траектории которых неизвестны заранее, но эти данные требуют учёта в ходе взаимодействия. Правила взаимного поведения, например, при маневрировании автономных роботов, могут формироваться в динамике каждым из участников событий. Например, в форме разрешенных векторов или матриц движения, формируемых по времени с учётом прогноза движения взаимодействующих систем. Проблема заключается в том, что при большом количестве агентов или пространственных ограничениях не просто взрывными темпами растёт объём расчётов – хуже то, что в какой-то момент времени вектор разрешенных направлений движения для одного или нескольких участников может оказаться нулевым, пересекающимся или взаимоисключающим для нескольких средств. И тогда понадобится принимать решение, которое невозможно строго рассчитать, а можно только построить на системе ограничительных правил взаимного поведения.

Исходя из указанных обстоятельств, в рамках сформулированной задачи, для обеспечения контроля алгоритмов может быть сформирована система правил, основанная на следующих положениях:

· основным способом обеспечения безопасности эвристических алгоритмов при существующем уровне развития техники является комплексный подход – задание «внешних» ограничений как системы правил, применяемых к сложившейся ситуации, и использование заранее подготовленных «внутренних» ограничений;

· «внутренние» ограничения формируются заранее для известных типовых ситуаций поведения;

· «внешние» ограничения должны формироваться динамично, с учётом ситуации, складывающейся в каждый момент времени;

· задаваемые по ситуации «внешние» и формируемые заранее «внутренние» ограничения должны быть максимально гибкими, чтобы не ограничивать функционал робототехнических систем.

С формальной точки зрения, формирование решений с использованием данной системы, является процессом дискретного прогнозирования, обеспечивающим оценку результата действий перед выполнением каждой итерации, на основе целевой функции и с учётом динамических ограничений. Отметим, что это вычислительно ёмкий процесс, который, с учётом многовариантности действий, может привести к «комбинаторному взрыву». Задача осложняется тем, что при вычислении предикативной функции необходимо учитывать реакцию взаимодействующих систем на каждом шаге расчётов. Как бы это ни делалось: с применением теории игр, методов сценарного анализа или других, это повышает размерность оцениваемых алгоритмов. Для парирования указанной проблемы, при решении задачи прогнозирования могут быть использованы известные математические методы снижения размерности. Итогом решения будет отсечение неприемлемых вариантов действий, не удовлетворяющих заданным значениям предикативных переменных поведения (рисунок 1).

Рис.1. Принцип организации контроля эвристических алгоритмов

Представляется логичным, что решения по оценке результатов реализации модифицируемых алгоритмов в тривиальных ситуациях, когда достаточно использовать существующие правила, будет принимать ПО робототехнической системы, а формирование и уточнение самой системы предикатов поведения будет определяться групповым решением, внешним для автономной системы. Данные по таким решениям могут обрабатываться, например, в некотором «облачном» сервисе, хранящем систему правил, модифицируемую по централизованному принципу (рисунок 2).

Рис.2. Принцип модификации системы предикатов поведения

И каждая робототехническая система будет запрашивать в «облаке» решения по ситуации и, если они есть, получать ответ, определяющий её действия. Если готового предиката поведения для ситуации не существует, так как раньше подобной ситуации не встречалось, будет автоматически формироваться запрос на разработку нового правила. И это физически внешнее для системы «облачное» хранилище, позволит сформировать набор комбинированных ограничений алгоритмов, по способу применения и создания действительно напоминающих мораль, и действующих независимо от принадлежности роботизированных систем и области их применения.

Вполне вероятно, что внедрение предложенной методологии, потенциально обеспечит предпосылки широкого использования комбинированных ограничений с саморегуляцией, минимально ограничивающих функционал робототехнических систем при высоком уровне обеспечения их безопасности.

Заключение

В данной работе задача формирования системы правил обеспечения безопасности алгоритмов автономных робототехнических систем сформулирована в общем виде. В то же время, проблема, для решения которой сформулирована постановка задачи, крайне актуальна для любых автономных систем, несущих потенциальную опасность для человека: транспортных и промышленных, обладающих кинетической энергией, и, конечно, боевых, сама цель которых – уничтожение [14,15]. Эта проблема требует решения: организационного, в части внесения изменений в нормативную и руководящую документацию, и технологического, в части разработки и внедрения методов контроля эвристических алгоритмов [16,17].

В рамках решения сформулированной задачи предлагается ввести алгоритмический аналог категорического императива Канта: оптимизировать поведение робототехнической системы не относительно поставленной цели, а относительно динамики состояния и потенциальных потребностей всех взаимодействующих систем. Реализация данного принципа может быть обеспечена на основе предлагаемых императивных правил, путём их внедрения в качестве «внутренних» и, главное, «внешних» ограничений алгоритмов, и отказа, как это не парадоксально, от приоритета рационального поведения в пользу безопасных и предсказуемых действий.

А использование предложенного подхода позволить сформировать систему, включающую;

· систему хранения и сервисы предоставления правил, по запросам, соответствующим типовым ситуациям;

· средства и органы выявления нестандартных ситуаций, формирования новых правил;

· средства ревизии существующей системы правил, уточнения или удаления устаревших.

Такая структура обеспечит формирование и поддержание в рабочем состоянии системы правил регулирования рационального поведения и контроля алгоритмов автономных систем.

С учётом вышесказанного, сформулированная в статье постановка задачи служит предпосылкой разрешения проблемы безопасности алгоритмов, управляющих поведением автономных робототехнических систем, а в отдалённой перспективе, возможно, признания их ответственными субъектами в тех или иных областях деятельности.

Библиография
1. Симулин А.А. и др. Некоторые аспекты использования робототехники в военном деле // Сборники конференций НИЦ Социосфера. 2015. №27. С.67-71.
2. Hover and stare: FCS testing UAVS Military.com URL: https://www.military.com/defensetech/2008/05/30/hover-and-stare-fcs-testing-uavs (дата доступа 21.11.2021).
3. DOD Adopts Ethical Principles for Artificial Intelligence US Dept of Defense. URL: https://www.defense.gov/Newsroom/Releases/Release/Article/2091996/dod-adopts-ethical-principles-for-artificial-intelligence (дата доступа 21.11.2021).
4. Recommendation No 2102 2017 of Parliamentary Assembly of the Council of Europe «Technological convergence, artificial intelligence and human rights» URL: http://assembly.coe.int/nw/xml/XRef/Xref-XML2HTML-en.asp?fileid=23726 (дата доступа 21.11.2021).
5. Recommendation No 2069 2015 of Parliamentary Assembly of the Council of Europe «Technological convergence, artificial intelligence and human rights» URL: https://www.cilevics.eu/wp-content/uploads/2019/01/EDOC14303.pdf (дата доступа 21.11.2021).
6. E.Christie Artificial Intelligence at NATO: dynamic adoption, responsible use. NATO Review. Opinion, analysis and debate on security issues. 24 November 2020. URL: https://www.nato.int/docu/review/articles/2020/11/24/artificial-intelligence-at-nato-dynamic-adoption-responsible-use/index.html (date of access: 29.07.2022).
7. Чиров Д.С., Новак К.В. Перспективные направления развития робототехнических комплексов специального назначения // Вопросы безопасности. 2018. № 2. С. 50-59. DOI: 10.25136/2409-7543.2018.2.22737.
8. Хрипунов С.П., Благодарящев И.В., Чиров Д.С. Военная робототехника: современные тренды и векторы развития // Тренды и управление. 2015. № 4. С. 410-422.
9. Army Equipment Program in support of President’s Budget 2015 US Army G-8.
10. Pflimlin É. Drones et robots: La guerre des futurs (Publisher Levallois-Perret, France, 2017).
11. J.Weaver Abhor a Vacuum: The Status of Artificial Intelligence and AI Drones, Under International Law New Hampshire Bar Journal, 2013, №2, рр.14-21.
12. Tikhanychev O.V. On improving indicators for assessing the decision support systems’ software quality, IOP Conference Series: Materials Science and Engineering 919(5), 052009 (2020). https://doi.org/10.1088/1757-899x/919/5/052009.
13. Tikhanychev O.V. Influence of the Problem of Safety Control of Heuristic Algorithms on the Development of Robotics in Robotics, Machinery and Engineering Technology for Precision Agriculture. Smart Innovation, Systems and Technologies edited by M. Shamtsyan (Publisher Springer, Singapore, 2022, pp.335-345 . https://doi.org/10.1007/978-981-16-3844-2_31.
14. Johnson D. «Computer Systems: Moral entities but not moral agents,» Ethics and Information Technology, 2006, № 8, рр.195-204. https://doi.org/10.1007/s10676-006-9111.
15. Schuller A. At the Crossroads of Control: The Intersection of Artificial Intelligence in Autonomous Weapon Systems with International, Humanitarian Law Harvard National Security Journal, 2017, № 8, рр.379–425.
16. Лопатина Т.М. Некоторые аспекты проблемы моральной ответственности компьютерных систем // Правовые вопросы связи. 2005. №1. С.12-13.
17. Тиханычев О.В. Постановка проблемы обеспечения безопасности алгоритмов интеллектуальных систем // Национальная безопасность / nota bene. 2020. № 5. С. 45 - 55. DOI: 10.7256/2454-0668.2020.5.33286.
References
1. A.Simulin et al. (2015) Some aspects of the use of robotics in military affairs, Conference Collection Center Sociosphere 27, 67-71.
2. Hover and stare: FCS testing UAVS Military.com URL: https://www.military.com/defensetech/2008/05/30/hover-and-stare-fcs-testing-uavs (date of access: 21.11.2021).
3. DOD Adopts Ethical Principles for Artificial Intelligence US Dept of Defense. URL: https://www.defense.gov/Newsroom/Releases/Release/Article/2091996/dod-adopts-ethical-principles-for-artificial-intelligence (date of access: 21.11.2021).
4. Recommendation No 2102 2017 of Parliamentary Assembly of the Council of Europe «Technological convergence, artificial intelligence and human rights» URL: http://assembly.coe.int/nw/xml/XRef/Xref-XML2HTML-en.asp?fileid=23726 (date of access: 21.11.2021).
5. Recommendation No 2069 2015 of Parliamentary Assembly of the Council of Europe «Technological convergence, artificial intelligence and human rights» URL: https://www.cilevics.eu/wp-content/uploads/2019/01/EDOC14303.pdf (date of access: 21.11.2021).
6. E. Christie Artificial Intelligence at NATO: dynamic adoption, responsible use. NATO Review. Opinion, analysis and debate on security issues. 24 November 2020. URL: https://www.nato.int/docu/review/articles/2020/11/24/artificial-intelligence-at-nato-dynamic-adoption-responsible-use/index.html (date of access: 29.07.2022).
7. D.Chirov and K.Novak (2018) Promising areas for the development of special-purpose robotic systems, Security Issues 2, 50-59. https://doi.org/10.25136/2409-7543.2018.2.22737.
8. S.Khripunov, I.Blagodaryashchev and D.Chirov (2015) Military robotics: modern trends and development vectors, Trends and Management 4, 410-422.
9. Army Equipment Program in support of President’s Budget 2015 US Army G-8.
10. É.Pflimlin Drones et robots: La guerre des futurs (Publisher Levallois-Perret, France, 2017).
11. J.Weaver (2013) Abhor a Vacuum: The Status of Artificial Intelligence and AI Drones, Under International Law New Hampshire Bar Journal 2, 14-21.
12. O.V.Tikhanychev (2020) On improving indicators for assessing the decision support systems’ software quality, IOP Conference Series: Materials Science and Engineering 919(5), 052009. https://doi.org/10.1088/1757-899x/919/5/052009.
13. O.V.Tikhanychev (2022) Influence of the Problem of Safety Control of Heuristic Algorithms on the Development of Robotics in Robotics, Machinery and Engineering Technology for Precision Agriculture. Smart Innovation, Systems and Technologies edited by M. Shamtsyan (Publisher Springer, Singapore, pp.335-345 . https://doi.org/10.1007/978-981-16-3844-2_31.
14. D.Johnson (2006) «Computer Systems: Moral entities but not moral agents,» Ethics and Information Technology 8, 195-204. https://doi.org/10.1007/s10676-006-9111.
15. A.Schuller (2017) At the Crossroads of Control: The Intersection of Artificial Intelligence in Autonomous Weapon Systems with International, Humanitarian Law Harvard National Security Journal 8, 379–425.
16. T.M.Lopatina (2005) Nekotorye aspekty problemy moral'noi otvetstvennosti komp'yuternykh sistem. Pravovye voprosy svyazi 1, 12-13.
17. O.V.Tikhanychev (2020) Statement of the problem of ensuring the security of intelligent systems algorithms, National Security 5, 45-55 . https://doi.org/10.7256/2454-0668.2020.5.33286.

Результаты процедуры рецензирования статьи

В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Со списком рецензентов издательства можно ознакомиться здесь.

В представленной на рецензирование статье рассматриваются правила безопасности эвристических алгоритмов поведения.
Методология исследования базируется на изучении и обобщении литературных источников по теме работы, визуальном представлении авторских предложений по совершенствованию безопасности эвристических алгоритмов поведения робототехнических систем.
Актуальность работы автор статьи справедливо связывает с тем, что с одной стороны, становится все белее очевидной необходимость использования автономных роботов, а с другой стороны, требуется обеспечить безопасность их применения, которая зависит в том числе и от наличия надёжных методов контроля их алгоритмического обеспечения. Исследование актуально для любых автономных систем, несущих потенциальную опасность для человека: боевых, транспортных и промышленных, обладающих кинетической энергией.
Научная новизна рецензируемого исследования, по мнению рецензента заключается в предложениях по введению алгоритмического аналога категорического императива Канта: оптимизировать поведение робототехнической системы не относительно поставленной цели, а относительно динамики состояния и потенциальных потребностей всех взаимодействующих систем на основе предлагаемых императивных правил, путём их внедрения в качестве «внутренних» и «внешних» ограничений алгоритмов, и отказа от приоритета рационального поведения в пользу безопасных и предсказуемых действий.
В статье структурно выделены следующие разделы: Введение, Анализ существующих проблем обеспечения безопасности алгоритмов робототехнических систем, Возможные подходы к организации контроля безопасности алгоритмов, О принципах реализации предлагаемого подхода, Заключение и Библиография.
Автор рассматривает документы, нормирующие применение искусственного интеллекта, в том числе в части особенностей, регламентирующих безопасность его алгоритмов, останавливается на нюансах их практического применения; способы доказательства эффективности и безопасности алгоритмов (анализ текстов программ, по качественным и по количественным критериям); методы «внутренних» и «внешних» ограничений для контроля алгоритмов, их положительные стороны и недостатки, как с точки зрения простоты реализации и влияния на ограничение функциональности управляемой системы, так и обеспечения гарантированной безопасности её применения. В статье отмечается, что с точки зрения контроля безопасности алгоритмов автономных робототехнических систем, предлагаемый категорический императив будет заключаться «в контроле безопасности эвристических алгоритмов перед реализацией каждой итерации поведения, осуществляемой на основе вычисления прогноза результата выполнения действия и оценки его последствий. В итоге, конечный результат будет оцениваться не только по эффективности применения системы, проявляющейся в конкретных условиях, но и на соответствие правилам, заданным как предикат корректного поведения». Статья иллюстрирована двумя рисунками: «Принцип организации контроля эвристических алгоритмов» и «Принцип модификации системы предикатов поведения», наглядно отражающих предлагаемый авторский подход.
Библиографический список включает 17 источников – публикации зарубежных и отечественных ученых теме статьи, нормативные материалы и интернет-ресурсы. В тексте имеются адресные ссылки на литературные источники, подтверждающие наличие апелляции к оппонентам.
В качестве замечания можно отметить, что при изложении сути «тройки Хоара», описывающей предусловия и постусловия, гарантирующие корректную работу проверяемого алгоритма, символы, использованные в тексте, отличаются от приведенных в расшифровке: S и R.
Рецензируемый материал соответствует направлению журнала «Национальная безопасность / nota bene», подготовлен на актуальную тему, содержит нетривиальный взгляд на решение проблемы обеспечения безопасности алгоритмов робототехнических систем, и, несмотря на небесспорность высказанной точки зрения, представленный материал может вызвать интерес у читателей, а поэтому рекомендуется к опубликованию после некоторой доработки оформления использованных в статье символов.
Ссылка на эту статью

Просто выделите и скопируйте ссылку на эту статью в буфер обмена. Вы можете также попробовать найти похожие статьи


Другие сайты издательства:
Официальный сайт издательства NotaBene / Aurora Group s.r.o.