по
Меню журнала
> Архив номеров > Рубрики > О журнале > Авторы > О журнале > Требования к статьям > Редакция и редакционный совет > Порядок рецензирования статей > Политика издания > Ретракция статей > Этические принципы > Политика открытого доступа > Оплата за публикации в открытом доступе > Публикация за 72 часа: что это? > Политика авторских прав и лицензий > Политика цифрового хранения публикации > Политика идентификации статей > Политика проверки на плагиат
Журналы индексируются
Реквизиты журнала

Публикация за 72 часа - теперь это реальность!
При необходимости издательство предоставляет авторам услугу сверхсрочной полноценной публикации. Уже через 72 часа статья появляется в числе опубликованных на сайте издательства с DOI и номерами страниц.
По первому требованию предоставляем все подтверждающие публикацию документы!
ГЛАВНАЯ > Вернуться к содержанию
Кибернетика и программирование
Правильная ссылка на статью:

Методика обучения систем управления беспилотными летательными аппаратами путем погружения их в виртуальную реальность
Ефимов Александр Иванович

аспирант, кафедра 319, федеральное государственное бюджетное образовательное учреждение высшего образования «Московский авиационный институт (национальный исследовательский университет)»

125993, Россия, г. Москва, ул. Волоколамское Шоссе, 4

Efimov Aleksandr Ivanovich

Postgraduate Student, Moscow Aviation Institute (National Research University)

125993, Russia, g. Moscow, ul. Volokolamskoe Shosse, 4

alhimic23@yandex.ru
Балилый Никита Андреевич

магистр, кафедра 319 «Системы интеллектуального мониторинга», федеральное государственное бюджетное образовательное учреждение высшего образования «Московский авиационный институт (национальный исследовательский

125993, Россия, г. Москва, ул. Волоколамское Шоссе, 4

Balily Nikita Andreevich

Master, Department of Intellectual Monitoring Systems, Moscow Aviation Institute (National Research University)

125993, Russia, g. Moscow, ul. Volokolamskoe Shosse, 4

nikbali@mail.ru

Аннотация.

Предметом исследования является реализации систем управления беспилотными летательными аппаратами. В качестве их решения предложен метод обучения и тестирования данных систем путем погружения всей системы и её отдельных компонентов в максимально приближенную к реальным условиям виртуальную реальность. Рассмотрены преимущества и сложности реализации в отношении каждого из задействованных модулей системы. Для каждой из сложностей предложены варианты решения. Выявлены наиболее удачные области применения, а также выделяется возможность применения данного метода к наземным и надводным транспортным средствам. В рамках данной работы исследованы имеющиеся системы управления летательными аппаратами и использование виртуальной реальности в рамках обучения их отдельных частей а также предложен вариант расширения применения подобных методов на всю систему управления с анализом достоинств и недостатков подобного подхода. Новизна данной статьи заключается в обучении систем управления беспилотными летательными аппаратами путем её погружения в виртуальную реальность. Полнота и гибкость подобной обучающей системы способны с одной стороны подстраиваться под любую конфигурацию оборудования, с другой обеспечить максимально качественное обучение. Наиболее важным аспектом является обеспечение возможности использования большей доли обучаемых алгоритмов, чем это возможно в других случаях. Кроме того данный подход кране полезен в рамках видеонавигации в связи с возможностью лучшей реализации компьютерного зрения. В рамках статьи показана актуальность исследования и эффективность применения данного метода в рамках систем управления летательными аппаратами и предложено его применение к другим транспортным средствам.

Ключевые слова: беспилотный летательный аппарат, виртуальная реальность, система управления, навигация, компьютерное зрение, обучаемые алгоритмы, нейронные сети, глубокое обучение, дрон, видеонавигация

DOI:

10.25136/2306-4196.2019.2.29236

Дата направления в редакцию:

15-03-2019


Дата рецензирования:

15-03-2019


Дата публикации:

18-03-2019


Abstract.

The subject of study is the implementation of control systems for unmanned aerial vehicles. As their solution, a method of teaching and testing of these systems by immersing the entire system and its individual components into a virtual reality as close as possible to real conditions is proposed. The advantages and difficulties of implementation in relation to each of the system modules involved are considered. For each of the difficulties the authors propose solutions. The most successful scopes of application are revealed, and also possibility of application of the given method to land and surface vehicles is allocated. In the framework of this work, the existing aircraft control systems and the use of virtual reality within the framework of training their individual parts are investigated and the option of extending the use of such methods to the entire control system with an analysis of the advantages and disadvantages of this approach is proposed. The novelty of this article lies in the training of control systems for unmanned aerial vehicles by immersing it in virtual reality. The completeness and flexibility of such a training system is able, on the one hand, to adapt to any equipment configuration, on the other hand, to provide the highest quality training. The most important aspect is ensuring that you can use a larger proportion of the learning algorithms than is possible in other cases. In addition, this approach to the crane is useful in the framework of video navigation in connection with the possibility of better implementation of computer vision. The article shows the relevance of the research and the effectiveness of this method in the framework of aircraft control systems and proposed its application to other vehicles.

Keywords:

learning algorithms, computer vision, navigation, control system, virtual reality, unmanned aerial vehicle (UAV), neural networks, deep learning, drone, videonavigation

В настоящий момент возрастает частота использования беспилотных летательных аппаратов, однако алгоритмы управления данными устройствами пока что далеки от совершенства. Задача управления ими крайне нетривиальна и связана с решением большого количества сложностей, которые можно разделить на несколько категорий:

1. Сложность определения текущего положения, ориентации, перемещения аппарата и анализа окружающего его пространства. Данная сложность связана с неполнотой и неточностью информации с датчиков, систематизация информации с которых зачастую является весьма сложной задачей [1]. Отдельно нужно выделить задачу анализа видеоряда, получаемого с камеры/системы камер, позволяющую с одной стороны дополнить информацию датчиков позиционирования, с другой получить значительно больше информации об окружении.

2. Сложность управления аппаратом, проблемы стабилизации полета, особенности управления конкретным устройством, зависящие от массы, аэродинамики, набора управляющих элементов и внешних погодных условий.

3. Многообразие различных рабочих условий ситуаций и задач, к которым могут относиться технические неполадки, погодные условия, высота и траектория полета, набор собираемой информации, количество различного рода помех, уровень скрытности и т.д.

4. Решение задач с ограниченным набором сенсорной, и вычислительной аппаратуры. Это связано с ограниченностью подъемной силы летательного аппарата и высокой стоимостью дополнительных элементов, кроме того усугубляется пропорционально увеличивающимся энергопотреблением и следовательно массой аккумуляторов. Важно отметить необходимость существенной вычислительной части в случае обеспечения автономной работы дрона и большой объем передаваемой информации в случае удаленного управления.

5. Обеспечение обработки данных и принятия решений в реальном масштабе времени.

Пункты 1, 2, 3 показывают сложность полного алгоритмического задания системы управления, что приводит к необходимости осуществления её элементов обучаемыми алгоритмами. В частности в качестве них могут использоваться нейронные сети. Пункт 4 с одной стороны сокращает возможности упрощения алгоритмической части путем дополнения системы новыми датчиками, с другой вводит серьезные ограничения на используемые методы, в частности вводит ограничение на глубину нейронных сетей и общее количество связей, особенно в случае использования малогабаритных аппаратов.

Систему управления летательным аппаратом можно условно разделить на три этапа:

1. Обработка и систематизация воспринимаемой с сенсоров информации.

2. Встраивание данной информации в математическую модель окружающей среды.

3. Принятие решений управления на основе полученной модели.

На каждом из них может быть полезно погружение системы или её части в виртуальную реальность, максимально приближенную к реальным условиям. Принцип данного подхода заключается в генерации входных данных системы в виде изображений и значений сигналов с датчиков в дополнении к которым вычисляются эталонные данные о положении, ориентации, скорости и т.д. виртуальной физической модели аппарата. Система управления на основе входных данных передает команды физической модели, которая максимально правдоподобно имитирует поведение устройства (Рис. 1). По эталонным данным определяется устойчивость и правильность полета, а также корректность полученных данных на 1 и 2 этапах, на основе чего и производится обучение. Обучение в рамках описанных этапов эффективно проводить сначала поэтапно с генерацией погрешностей на 15-30% большими чем ожидаемые. Полнота информации о математической модели виртуальной сцены обеспечивает возможности генерации промежуточных данных любого этапа. После чего производится обучение системы в целом.

Рис. 1 Обучение системы управления беспилотным летательным аппаратом путем погружения в виртуальную реальность

Далее нужно остановиться на каждом этапе подробнее:

Первый этап заключается в систематизации и уточнении информации, получаемой от сенсоров в данный момент, в первую очередь это информация о положении и ориентации аппарата, обеспечивающая устойчивость полета, полученная от системы датчиков в которые могут входить: гироскоп, акселерометр, магнитометр, gps навигатор, высотомер. Помимо выше перечисленных используется лидар для быстрого определения препятствий и система камер для анализа окружающего пространства [2]. Извлечение данных с видеоряда и систематизация данных со всей системы сенсоров является крайне нетривиальной задачей и для анализа полученных данных часто используются обучаемые алгоритмы [3]. Для их обучения и тестирования нужно найти либо составить подходящие наборы данных, что является достаточно сложной задачей. Связано это с ранее описанным разнообразием задач и условий а также разнообразием комплектации аппаратов. Для упрощения создания данных наборов можно предложить генерирование последовательных данных по заранее созданной математической модели окружения. Данный подход имеет ряд преимуществ:

1. Неограниченный объем и быстрая генерация графических данных в полностью автоматическом режиме.

2. Многообразие данных с различными условиями и ситуациями, а также возможность генерации последовательности изображений с конкретным временем шага.

3. Полнота и точность полученной эталонной информации, обусловленное наличием полного описания математической модели виртуальной сцены.

4. Возможность имитации любого датчика, а также тонкая настройка точности каждого из них, благодаря настройке функции генерируемого шума. Данная особенность позволяет оценить актуальность, надежность и избыточность конкретного набора аппаратуры.

5. Способность быстрого тестирования любой, в том числе и алгоритмически жестко заданной системы в широком спектре получаемых данных.

Этап включения полученных данных в математическую модель окружения также может быть максимально эффективно протестирован а в частных случаях настроен или даже обучен с помощью погружения системы в виртуальную реальность. Принцип заключается в сопоставлении математической модели, полученной в рамках системы управления и математической модели виртуальной сцены, с определением её полноты, точности и скорости построения. Преимущества схожи с предыдущим этапом и заключаются в скорости и разнообразии генерируемой информации, а также полноте и точности информации о окружающем пространстве.

Третий этап управления устройством также может использовать обучаемые алгоритмы, особенно большие успехи в этом направлении были достигнуты в последние годы. И они также могут быть обучены полноценным погружением системы управления в виртуальную реальность [5]. Можно выделить следующие достоинства данного подхода:

1. Высокая скорость обучения, единственным ограничением которой являются системные ресурсы.

2. Широкий диапазон воспроизводимых условий и ситуаций.

3. Отсутствие опасности для летательного аппарата.

4. Способность быстрого тестирования любой, в том числе и алгоритмически жестко заданной системы.

5. Возможность обучения оператора в ручном режиме управления без риска для летательного аппарата с проработкой полного спектра ситуаций, а также проверкой корректности полуавтоматического режима.

Однако помимо описанных выше преимуществ у предложенного метода присутствуют также недостатки и сложности реализации. Ниже описаны сложности и способы их решения, соотнесенные с характерными им этапами:

1. Этап восприятия окружения

1.1. Большие временные затраты на качественную проработку виртуальных сцен. Однако современные графические инструментарии позволяют в значительной степени решить данную проблему, благодаря гибкому функционалу и встроенным функциям, а также за счет магазинов с адаптированным графическим контентом (текстуры, материалы, модели, анимации) и дополнительными инструментами отрисовки, модифицирования и генерации объектов и эффектов.

1.2. Отличие генерированных данных от реальных. В рамках большинства датчиков данный вопрос решается более сложным генератором помех. В рамках же имитации реального видеоряда можно использовать инструменты с длительным расчетом графики, однако это замедлит работу генератора. Эксперименты в рамках данной работы показали что это решение может быть излишним в рамках нейронных сетей сегментации, т.к. для их обучения не требуется настолько высокого уровня фотореалистичности, в частности уровень современных инструментов с расчетом изображения в реальном времени вполне достаточен и отличается от обучения на реальных изображениях в пределах статистической погрешности.

1.3. В случае реализации анализа видеоряда путем использования нейронных сетей присутствует повышенная вероятность их переобучения. В первую очередь это связано с отличием генерированных изображений на уровне отдельных пикселей, однако данная проблема в рамках нейронных сетей сегментации практически полностью решается генерированием изображений в 4 раза большего разрешения, чем подаваемое на вход нейронной сети, после чего производится гауссово размытие на 4-10 пикселей.

2. Этап систематизации математической модели.

2.1. Трудоемкость создания разнообразных математических моделей, решение аналогично пункту 1.1.

3. Этап принятия решений.

3.1. Сложность правдоподобной эмуляции поведения конкретного летательного аппарата, как в общих так и специфических условиях и ситуациях.

Пункт 3.1. необходимо рассмотреть более подробно. Первым возможным решением является создание в рамках виртуальной реальности обучаемой на реальных полетах, системы поведения летательного аппарата. Другой вариант заключается в классической реализации простых функций стабилизации полета, а для обучения в рамках виртуальной реальности использовать более высокую абстракцию. Третий и наиболее точный вариант предполагает наличие дрона и пространства в котором он свободно перемещается. Дрон принимает решения на основе данных из виртуальной реальности, а его итоговая реальная позиция, ориентация и скорость считываются и проецируются в виртуальную реальность. Таким образом можно обучить дрон облетать препятствия не создавая для него опасности в реальности [5].

Отдельно нужно отметить такое направление разработки как видеонавигация, в рамках данного подхода вместо ориентирования по gps используется ориентирование по видеоряду окружающей местности [2] [4], что в частности важно в военном применении, т.к. позволяет продолжать работу в автономном режиме в зоне глушения сигнала, а также снижает вероятность обнаружения устройства и его перехвата. В рамках данного подхода погружение в виртуальную реальность еще более эффективно, т.к. с одной стороны позволяет хорошо обучить нейронную сеть машинного зрения, а с другой адаптировать её под конкретный участок местности, в случае создания её копии в рамках виртуальной реальности и обучении системы только на ней, причем в этом случае потребуется меньше системных ресурсов для обеспечения аналогичной точности позиционирования по сравнению с универсальным подходом. Кроме того гибкость и скорость адаптирования к изменяющимся условиям идеально подходят для применения в военном ключе.

Всё вышеперечисленное показывает эффективность обучения систем управления летательными аппаратами путем их погружения в виртуальную реальность, максимально имитирующую реальные условия. Также стоит отметить, что предложенные нововведения могут быть с определенными поправками эффективно применены к любым беспилотным транспортным средствам, включая наземные и надводные [6].

Библиография
1.
К. Е. Шилов Разработка системы автоматического управления беспилотным летательным аппаратом мультироторного типа ТРУДЫ МФТИ, Москва, 2014, Том 6, № 4, c. 139–152
2.
А. А. Ардентов, И. Ю. Бесчастный, А. П. Маштаков, А. Ю. Попов, Ю. Л. Сачков, Е. Ф. Сачкова Алгоритмы вычисления положения и ориентации БПЛА ПРОГРАММНЫЕ СИСТЕМЫ: ТЕОРИЯ И ПРИЛОЖЕНИЯ № 3(12), 2012, c. 23–39 URL: http://psta.psiras.ru/read/psta2012_3_23-39.pdf
3.
Кореванов С.В., Казин В.В. Искусственные нейронные сети в задачах навигации беспилотных летательных аппаратов. Научный вестник МГТУ ГА. 2014;(201):46-49. https://doi.org/10.26467/2079-0619-2014-0-201-46-49
4.
Бондарев В.Г. Видеонавигация летательного аппарата. Научный вестник МГТУ ГА. 2015;(213):65-72. https://doi.org/10.26467/2079-0619-2015--213-65-72
5.
Jennifer Chu Researchers develop virtual-reality testing ground for drones MIT News Office URL: http://news.mit.edu/2018/virtual-reality-testing-ground-drones-0517
6.
Nati Amsterdam Testing, Testing: How VR Can Spin the Odometer Forward for Simulated Self-Driving Cars NVIDIA Blog URL: https://blogs.nvidia.com/blog/2018/03/13/developing-self-driving-cars-in-vr/
References (transliterated)
1.
K. E. Shilov Razrabotka sistemy avtomaticheskogo upravleniya bespilotnym letatel'nym apparatom mul'tirotornogo tipa TRUDY MFTI, Moskva, 2014, Tom 6, № 4, c. 139–152
2.
A. A. Ardentov, I. Yu. Beschastnyi, A. P. Mashtakov, A. Yu. Popov, Yu. L. Sachkov, E. F. Sachkova Algoritmy vychisleniya polozheniya i orientatsii BPLA PROGRAMMNYE SISTEMY: TEORIYa I PRILOZhENIYa № 3(12), 2012, c. 23–39 URL: http://psta.psiras.ru/read/psta2012_3_23-39.pdf
3.
Korevanov S.V., Kazin V.V. Iskusstvennye neironnye seti v zadachakh navigatsii bespilotnykh letatel'nykh apparatov. Nauchnyi vestnik MGTU GA. 2014;(201):46-49. https://doi.org/10.26467/2079-0619-2014-0-201-46-49
4.
Bondarev V.G. Videonavigatsiya letatel'nogo apparata. Nauchnyi vestnik MGTU GA. 2015;(213):65-72. https://doi.org/10.26467/2079-0619-2015--213-65-72
5.
Jennifer Chu Researchers develop virtual-reality testing ground for drones MIT News Office URL: http://news.mit.edu/2018/virtual-reality-testing-ground-drones-0517
6.
Nati Amsterdam Testing, Testing: How VR Can Spin the Odometer Forward for Simulated Self-Driving Cars NVIDIA Blog URL: https://blogs.nvidia.com/blog/2018/03/13/developing-self-driving-cars-in-vr/
Ссылка на эту статью

Просто выделите и скопируйте ссылку на эту статью в буфер обмена. Вы можете также попробовать найти похожие статьи


Другие сайты издательства:
Официальный сайт издательства NotaBene / Aurora Group s.r.o.
Сайт исторического журнала "History Illustrated"