Статья 'Особенности организации и классификация интерфейсов виртуальной реальности' - журнал 'Программные системы и вычислительные методы' - NotaBene.ru
по
Меню журнала
> Архив номеров > Рубрики > О журнале > Авторы > Требования к статьям > Политика издания > Редакция > Порядок рецензирования статей > Редакционный совет > Ретракция статей > Этические принципы > О журнале > Политика открытого доступа > Оплата за публикации в открытом доступе > Online First Pre-Publication > Политика авторских прав и лицензий > Политика цифрового хранения публикации > Политика идентификации статей > Политика проверки на плагиат
Журналы индексируются
Реквизиты журнала
ГЛАВНАЯ > Вернуться к содержанию
Программные системы и вычислительные методы
Правильная ссылка на статью:

Особенности организации и классификация интерфейсов виртуальной реальности

Кирьянов Денис Александрович

ORCID: 0000-0001-8502-8333

магистр, Балтийский государственный технический университет ВОЕНМЕХ имени Д. Ф. Устинова

190005, Россия, г. Санкт-Петербург, ул. 1-Я красноармейская, 1

Kiryanov Denis Aleksandrovich

Master's Degree, Department of Information Systems and Software Engineering, Baltic State Technical University "Voenmeh" anmed after D. F. Ustinov

190005, Russia, Saint Petersburg, 1st Krasnoarmeyskaya str., 1

dennis.kiryanov@gmail.com
Другие публикации этого автора
 

 

DOI:

10.7256/2454-0714.2022.2.38214

EDN:

ZPEWAU

Дата направления статьи в редакцию:

06-06-2022


Дата публикации:

05-07-2022


Аннотация: Предметом исследования являются особенности организации интерфейсов виртуальной реальности. Автор подробно рассматривает такие аспекты темы, как вовлеченность пользователя в виртуальную среду, различные способы и сценарии взаимодействия пользователя с виртуальной реальностью, безопасность пользователя в виртуальной среде, а также такое явление, как киберболезнь и способы ее предотвращения. В исследовании также рассматривается использование голосового управления в качестве альтернативы ручному. Особое внимание в данном исследовании уделяется классификации интерфейсов виртуальной реальности, среди которых выделяются и подробно рассматриваются сенсорные интерфейсы, интерфейсы на основе моторики пользователя, сенсомоторные интерфейсы, интерфейсы для моделирования и разработки виртуальной реальности.    Основным выводом проведенного исследования является то, что интерфейс виртуальной реальности должен проектироваться с учетом эргономики пользователей для предотвращения мышечной усталости и киберболезни. Кроме того, очень важным при проектировании интерфейсов виртуальной среды является обеспечение безопасности пользователя: пользование интерфейсом виртуальной реальности не должно приводить к травмированию пользователя. Для создания эргономичного и безопасного интерфейса виртуальной реальности зачастую требуется сочетание различных видов интерфейсов, с помощью которых пользователь может получить доступ к альтернативному способу управления или улучшенной навигации. Особым вкладом автора в исследование темы является описание классификации интерфейсов виртуальной реальности.


Ключевые слова:

Виртуальная реальность, Голосовое управление, Сенсомоторные интерфейсы, Тач-интерфейсы, Киберболезнь, Вовлеченность пользователя, Графические интерфейсы, Мышечная усталость, Моторика пользователя, Проектирование интерфейсов

Abstract: The subject of the study is the features of the organization of virtual reality interfaces. The author examines in detail such aspects of the topic as user involvement in the virtual environment, various ways and scenarios of user interaction with virtual reality, user security in the virtual environment, as well as such a phenomenon as cyberbullying and ways to prevent it. The study also considers the use of voice control as an alternative to manual. Particular attention in this study is paid to the classification of virtual reality interfaces, among which sensory interfaces, interfaces based on user motor skills, sensorimotor interfaces, interfaces for modeling and developing virtual reality are distinguished and considered in detail.    The main conclusion of the study is that the virtual reality interface should be designed taking into account the ergonomics of users to prevent muscle fatigue and cyber-pain. In addition, it is very important to ensure the user's safety when designing virtual environment interfaces: using the virtual reality interface should not lead to injury to the user. To create an ergonomic and secure virtual reality interface, a combination of different types of interfaces is often required, through which the user can access an alternative control method or improved navigation. A special contribution of the author to the study of the topic is the description of the classification of virtual reality interfaces.


Keywords:

Virtual reality, Voice control, Sensorimotor interfaces, Touch interfaces, Cyberbullying, User engagement, Graphical interfaces, Muscle fatigue, User motor skills, Interface design

ВВЕДЕНИЕ

Виртуальная реальность (ВР) очень часто определяется как набор технологий, которые позволяют людям погрузиться в мир за пределами реальности [1] и часто ассоциируется с иммерсивными технологиями, которые предназначаются для наиболее полного погружения в искусственный мир, созданный компьютером посредством доставки информации для органов чувств, в основном, зрения, слуха и осязания [2].

Для достижения необходимого зрительного эффекта в ВР очень часто применяются многочисленные варианты наголовных дисплеев [3, 4, 5] (англ., Head-Mounted Display, или HMD), одиночных (Powerwall VR) или объединенных проекционных экранов (CAVE) [6]. При этом звуковой эффект может поддерживаться при помощи головных наушников, динамиков или полноценной системой звукового звучания, а взаимодействие с виртуальной средой осуществляется при помощи специальных датчиков и систем слежения (оптических, магнитных, ультразвуковых, инерционных и т. д.), которые позволяют рассчитывать положение и ориентацию физических объектов в пространстве в режиме реального времени.

В настоящее время технологии, связанные с ВР, находят свое применение во многих отраслях, включая образование [7], медицину [8], промышленность [9], армию [10, 11], индустрию игр и развлечений, позволяя пользователям взаимодействовать с виртуальным миром и обрабатывать данные, полученные из него. Обработка данных производится различными способами, применимыми к решению и пониманию сложных проблем. Таким образом, ВР повышает уровень производительности за счет технологической модернизации и инноваций, являясь ключевым элементом в развитии многих отраслей промышленности.

При взаимодействии пользователя с системой виртуальной реальности очень важна организация интерфейса. Данная проблема является очень актуальной в проектировании систем ВР и рассматривается далее.

1 Особенности организации интерфейсов виртуальной реальности

1.1 Категории активностей пользователя в виртуальной среде

Так как технология виртуальной реальности предполагает частичное или полное погружение пользователя в виртуальную среду, существует множество особенностей организации данного вида человеко-машинного взаимодействия, которые следуют из возможностей органов чувств человека.

Это объясняется тем, что, когда пользователь находится в виртуальной среде, ему приходится с ней взаимодействовать. В подобном взаимодействии выделяют элементарные, сенсомоторные и когнитивные активности. В целом, действия пользователя при взаимодействии с виртуальной средой можно сгруппировать по четырем категориям [12, c. 26]:

· наблюдение за виртуальным миром;

· перемещение в виртуальном мире;

· воздействие на виртуальный мир;

· общение с другими пользователями, виртуальным миром или с приложением.

1.2 Поле зрения как важный показатель вовлеченности пользователя

Одним из наиболее важных аспектов виртуальной реальности является поле зрения, зависящее от горизонтального и вертикального размера дисплея. Вовлеченность пользователя во многом зависит от данного показателя: чем шире поле зрения, тем оно больше [13].

Поле зрения бывает двух видов: монокулярное и бинокулярное. Монокулярным называется поле зрения одного глаза, находящееся в пределах 170° - 175°, которое состоит из угла от зрачка к носу (60° - 65°) и угла от зрачка в сторону виска (100° - 110°). Бинокулярное поле зрения является комбинацией двух монокулярных полей зрения, и обеспечивает человеку видимую область около 200° - 220° [14].

В месте пересечения двух монокулярных полей зрения возникает стереоскопическое бинокулярное поле зрения [15] (около 100°), при котором человек может воспринимать объекты в 3D. Данное поле зрения является наиболее важным, так как именно в его пределах человек видит большинство объектов естественной и виртуальной среды.

Таким образом, при проектировании интерфейсов виртуальной реальности требуется учитывать поле зрения, что бы элементы графического интерфейса были всегда видны пользователю. Теоретически, устройство виртуальной реальности должно поддерживать поле видимости в 170° по горизонтали и 145° по вертикали для обеспечения полного погружения в виртуальную среду, однако на практике поле видимости во многих современных HMD-дисплеях не превышает 120° по горизонтали.

При проектировании интерфейсов виртуальной реальности требуется также принимать во внимание и то, что суммарное поле видимости при движении головы и глаз очень широкое: по горизонтали оно составляет более 200°со стороны виска и около 130° со стороны носа, а также 140° вверх и 170° вниз по вертикали [12, c. 68]. Таким образом, основной контент должен располагаться в оптимальной зоне (расстояние между объектом и пользователем от 1,25 м до 5 м), с учетом положения пользователя (сидя, полулежа, стоя или при ходьбе) [16].

1.3 Способы и сценарии взаимодействия пользователя с виртуальной реальностью

Взаимодействие пользователя с интерфейсом виртуальной реальности происходит, в основном, при помощи различных пультов управления, контроллеров [17], специальных тактильных перчаток, а также при помощи жестов [18]. Использование таких элементов управления в трехмерном пространстве осуществляется благодаря специальным системам слежения [19].

Среди основных возможных сценариев взаимодействия пользователя с интерфейсом ВР можно выделить следующие [20]:

· выбор объекта (объект должен быть выбран до того, как с ним можно будет выполнить фактическое действие);

· манипуляции с выбранным объектом, т. е., использование функций, которые доступны после его выбора;

· размещение и перемещение объектов, т. е., их свободное позиционирование в любом месте горизонтальной плоскости и вращение вокруг вертикальной оси;

· создание или изменение объектов, т. е., использование функций, которые позволяют выбирать между предопределенными параметрами, среди которых могут быть, например, тип создаваемого объекта, размер, вес, цвет и т. д.;

· введение данных, т. е., ввод текста, выделение выбранных объектов в виртуальном пространстве и т. д.

1.4 Голосовое управление как альтернатива ручному

При проектировании интерфейса системы ВР следует иметь в виду, что обычное взаимодействие с ней может быть затруднено в тех случаях, когда пользователь уже работает с виртуальной средой. Например, возможен сценарий, когда пользователь обучающего приложения виртуальной реальности держит в руках какой-то инструмент, изучая его возможности и способы применения. В таком случае, пользователю может быть неудобно или даже невозможно вызвать справку по данному инструменту, т. к. его руки уже заняты.

В таких приложениях необходимо предусмотреть поддержку голосового управления, обеспечивающегося при помощи специальных встроенных микрофонов. Еще одним из возможных способов взаимодействия с интерфейсом приложения виртуальной реальности, который может применяться в качестве замены ручному управлению, является распознавание жестов. В частном случае, интерфейс виртуальной реальности, реализующий технику распознавания жестов, может быть сосредоточен на отслеживании движения глаз или головы [21].

1.5 Предотвращение мышечной усталости

При разработке интерфейса ВР, основанного на распознавании жестов, очень важно избегать мышечной усталости пользователя. Такое явление может проявляться, например, при удерживании в определенном положении руки или головы в течение длительного периода, или повторения жестов на протяжении длительного периода времени при взаимодействии с интерфейсом виртуальной реальности.

Во избежание мышечной усталости пользователя следует вводить поддержку комбинаций жестов и голосового ввода. Кроме того, очень важно правильно расположить интерактивные элементы, разместив их на правильной высоте и в нужном месте для пользователя, обеспечив удобное взаимодействие с системой виртуальной реальности [16].

1.6 Безопасность использования виртуальной реальности

Необходимо также продумывать интерфейс ВР и с точки зрения безопасности использования, избегать потенциально опасных движений и стратегий поведения пользователя при взаимодействии с интерфейсом, потому что люди очень часто теряют связь с реальным миром, находясь в виртуальной реальности [22].

При необходимости следует изменить интерфейс таким образом, чтобы опасные движения пользователя были замещены распознаванием жестов или голосовым управлением.

1.7 Навигация по виртуальной среде

Еще одной проблемой построения интерфейсов виртуальной реальности является возможность удобного перемещения в ней и взаимодействия с объектами, находящимися на расстоянии. Согласно исследованиям, навигация по виртуальной среде влияет на ощущение присутствия [23], но данная функциональность зачастую ограничена возможностями самой системы ВР и используемой пользователем гарнитурой.

Одним из возможных решений является использование стандартных элементов управления, таких как джойстик, клавиатура или мышь, а также адаптация подобных устройств к виртуальной среде.

1.8 Киберболезнь и способы ее предотвращения

Существенной особенностью, которой не стоит пренебрегать при проектировании интерфейсов ВР, является киберболезнь [24] (англ., cybersickness). Симптомами киберболезни являются: тошнота, головная боль, бледность, сухость во рту, дезориентация, рвота [25]. Киберболезнь возникает, тогда, когда пользователь визуально воспринимает, что он перемещается в виртуальной среде несмотря на то, что физически он остается неподвижен.

Поэтому, использование стандартного устройства управления, такого как мышь или клавиатура, может привести к киберболезни, вызвав конфликт в сенсорной системе. В таких случаях используют перемещение в виртуальной среде с постоянной скоростью в направлении взгляда пользователя.

Еще одним возможным способом перемещения пользователя в виртуальной реальности является телепортация. Применяя этот метод, пользователь может беспрепятственно перемещаться из одного места в другое, избегая возникновения киберболезни. Основные точки или локации могут быть предопределены в приложении, и могут быть доступны для выбора различными способами, в том числе и стандартными устройствами управления, такими как джойстик или мышь [16].

2 Классификация интерфейсов виртуальной реальности

Существует много работ, посвященных классификации интерфейсов виртуальной реальности. Многие типы интерфейсов ВР рассматриваются в [12], а также основательное исследование по данной теме было проведено в [26].

Согласно классификации интерфейсов, описанной в [26], выделяют четыре основных группы интерфейсов, описанных ниже.

1. Интерфейсы для моделирования и разработки:

1.1. на основе оцифровки реальных объектов;

1.2. на основе специального программного обеспечения для моделирования объектов, такого как системы автоматизированного проектирования (САПР), специализированные языки программирования;

1.3. на основе виртуальных конструкторов форм объектов, при помощи которых возможно создание объектов любых форм.

2. Сенсорные интерфейсы:

2.1. графические, т. е., стереоскопические и моноскопические графические интерфейсы, в которых для взаимодействия с графикой используются очки и шлемы виртуальной реальности, разнообразные мониторы, проекционные дисплеи;

2.2. голосовые, т. е., на основе распознавания речи и звуков;

2.3. тач-интерфейсы (англ., touch interfaces), т. е., построенные на основе прикосновений пользователя к элементам интерфейса, в которых для взаимодействия пользователя с системой используются различные модификации перчаток виртуальной реальности, джойстики и т. д.;

2.4. интерфейсы, построенные на основе обоняния.

3. Интерфейсы, основанные на моторике пользователя:

3.1. на основе определения местоположения и ориентации пользователя, в которых используются специальные датчики;

3.2. на основе технологии обнаружения движений пальцев, в которых активно используются перчатки виртуальной реальности;

3.3. на основе технологии анализа ходьбы пользователя;

3.4. на основе захвата движения пользователя (англ., motion capture interfaces), с использованием костюмов виртуальной реальности, специальных наборов датчиков, систем анализа изображений;

3.5. командные интерфейсы, в которых ведется управление следующего типа: голосовое, ручное (при помощи компьютерной мыши, джойстика, стилуса), при помощи ног (педальное управление);

3.6. на основе передвижения пользователя, которые построены на основе использования роликовых коньков, мобильных платформ, гироскопов;

3.7. основанные на технологии захвата лица, с отслеживанием мимики, движения глаз и губ.

4. Сенсомоторные интерфейсы, представляющие собой командные интерфейсы с обратной связью, в которых для управления используются различного рода манипуляторы, джойстики, перчатки виртуальной реальности, экзоскелеты.

Как можно наблюдать из классификации, представленной выше, интерфейсы виртуальной реальности обладают широким разнообразием и применением. Кроме того, следует отметить, что зачастую упомянутые выше типы интерфейсов сочетаются, заменяя или дополняя друг друга. Далее рассмотрим некоторые из основных типов интерфейсов ВР более детально.

3 Интерфейсы для моделирования и разработки виртуальной реальности

Интерфейсы для моделирования и разработки ВР представляют собой среду разработки ВР, т. е. то, как видит виртуальную реальность и взаимодействует с ней разработчик.

Одним из самых простых способов перенести объекты реального мира в виртуальную среду – это их оцифровка при помощи специальных 3D-диджитайзеров (англ., 3D digitizer). В результате получается объемная модель, с которой можно взаимодействовать на программном уровне. Такие решения находят свое применение, например, в дизайне предметов интерьера или посуды, на оцифрованные модели которых можно наносить различные надписи при помощи специальных тактильных устройств. Пример подобного решения [27] представлен на рисунке 1.

Рисунок 1 – Тактильное устройство и его применение в виртуальной реальности

На рисунке 1 представлено тактильное устройство «Phantom Desktop» (слева) и его применение для нанесения китайских иероглифов на оцифрованную чашу (справа).

При моделировании виртуальных объектов с использованием виртуальной среды создание формы достигается при помощи виртуальной обработки материи, форму, текстуру и плотность которой можно физически ощутить. Этот метод позволяет скульпторам, дизайнерам или специалистам по компьютерной графике создавать сложные формы виртуальных объектов, не используя специальных средств разработки.

Также очень часто используются специализированные САПР для создания объемных моделей [28] и различные языки программирования, такие как С/C++ и Pascal [26].

4 Сенсорные интерфейсы виртуальной реальности

Сенсорные интерфейсы используются в виртуальной реальности для того, чтобы пользователь имел возможность ощущать объекты виртуального мира, усилив тем самым эффект от погружения в виртуальную среду.

4.1 Графические интерфейсы

Графические интерфейсы ВР могут быть 2D и 3D. 2D-интерфейс обычно представляет собой набор кнопок на двухмерной поверхности. Примером такого интерфейса может быть, например, меню настроек. Стоит заметить, что двухмерный интерфейс в таком случае может быть интегрирован в объемную виртуальную среду. При использовании 2D-интерфейсов обычно используют выделение выбранных объектов, а также отображают специальный указатель (например, по аналогии с указателем мыши).

3D-интерфейс в ВР используют для того, чтобы максимально приблизить возможности взаимодействия к реальной жизни, насколько это возможно в контексте самой виртуальной среды. Использование 3D-интерфейса является эффективным при необходимости имитирования физического взаимодействия в реальности. Пример 2D и 3D-интерфейсов в виртуальной реальности [29] показан на рисунке 2.

Рисунок 2 – Пример 2D и 3D-интерфейсов в виртуальной реальности

На рисунке 2 показан трехмерный интерфейс (а) выбора инструмента с рабочего стола на предприятии при помощи специального контроллера. После выбора данного инструмента открывается меню настроек (б), реализованное в 2D. Данный пример показывает то, как могут сочетаться 2D и 3D-интерфейсы в виртуальной реальности.

Организация 3D-интерфейса в виртуальной реальности является очень актуальной проблемой и активно исследуется в настоящее время [30-32].

4.2 Голосовые интерфейсы

Голосовые интерфейсы довольно часто используются в виртуальной реальности [20, 33, 34]. C помощью голосового управления пользователь может управлять своим положением в виртуальной среде, приближать или вращать объект, изменять его и т. д. Голосовое управление может использоваться как в качестве основного, так и в качестве дополнительного или альтернативного.

Фактически, интерактивные речевые системы виртуальной реальности можно рассматривать как экземпляры непрямого интерфейса управления, т. е. интерфейса, в котором пользователь делегирует задачу компьютеру, который, в свою очередь, инициирует (и контролирует) действия в системе и определяет порядок решения задачи [35].

Интерактивные приложения виртуальной реальности отличаются сложностью предметной области и соответствующим увеличением сложности используемого языка. Системы ВР с использованием голосовых интерфейсов должны минимизировать как ошибки пользователя, так и ошибки распознавания команд, задавая вопросы для получения информации, не предоставленной пользователем, но необходимой для выполнения задачи и устранения дальнейших проблем в человеко-машинном диалоге.

Основными актуальными проблемами при разработке интерфейсов виртуальной реальности с голосовым управлением являются: распознавание речи, понимание команд управления, а также организация взаимодействия человека с виртуальной средой в целом.

Так, при реализации распознавания речи, следует иметь в виду, что чем больше словарный запас пользователя, тем больше вероятность ошибок распознавания, т. е., проблема заключается в необходимости ограничения языка пользователя с сохранением комфортного взаимодействия с системой виртуальной реальности.

Проблемы с пониманием команд управления связаны, в первую очередь, с пониманием контекста, на основе которого они интерпретируются, т. е., с пониманием компьютером разговорной речи пользователя.

Организация взаимодействия человека с виртуальной реальностью посредством интерфейса голосового управления зачастую сводится к реализации системы ВР как информационного агента, с которым взаимодействует пользователь. Основная проблема в этом случае заключается в том, чтобы пользователь понимал, с чем ведет взаимодействие и что бы данное взаимодействие выглядело как диалог между человеком и системой ВР, наиболее похожий на естественное общение людей.

4.3 Тач-интерфейсы

Тач-интерфейсы [36, 37], для взаимодействия с которыми используются различные модификации перчаток виртуальной реальности и джойстиков, активно используются в медицине, робототехнике и многих других областях, в которых осязание необходимо для лучшего понимания виртуального мира.

Прикосновение занимает центральное место в человеческом восприятии и взаимодействии с окружающей средой, играя жизненно важную роль в формировании и поддержании близких социальных связей и благополучия [38].

Данный тип интерфейсов основан на том, что на коже человека размещено огромное количество различного рода рецепторов [12, с. 70–75], что увеличивает погружение пользователя в виртуальную среду и улучшает управление.

5 Интерфейсы, основанные на моторике пользователя

Роль интерфейсов виртуальной реальности, основанных на моторике пользователей, состоит в предоставлении пользователю возможности воздействия на объекты виртуального мира с передачей компьютеру информации о жестах и речи пользователя, касающихся объектов виртуального мира [26].

5.1 Интерфейсы на основе определения местоположения и ориентации пользователя

В интерфейсах виртуальной реальности на основе определения местоположения и ориентации пользователя использован принцип определения точного положения HMD-дисплеев, элементов управления и тела пользователя в евклидовом пространстве [39]. Поскольку целью таких интерфейсов является имитация восприятия реальности, крайне важно, чтобы позиционное отслеживание было точным и точным, во избежание нарушения иллюзии пребывания в трехмерном пространства.

Для этого используются датчики, которые многократно регистрируют сигналы от передатчиков на отслеживаемом объекте (объектах) или рядом с ним, а затем отправляют эти данные на компьютер, чтобы поддерживать приблизительное их физическое местоположение [40].

5.2 Интерфейсы на основе технологии захвата движения пользователя

Системы виртуальной реальности с интерфейсами, основанными на технологии захвата движения пользователя, часто используются в медицине для моделирования операций, а также в автомобильной промышленности (преимущественно для виртуальной сборки), в киноиндустрии (для захвата движения человека и создания анимации с захваченными движениями), в игровой индустрии и многих других областях [41].

Существует несколько возможных подходов к реализации системы виртуальной реальности на основе технологии захвата движения: оптический, механический, магнитный и инерционный. Наиболее часто используемый подход заключается в использовании оптических технологий захвата движения, как показано на рисунке 3 [42].

Рисунок 3 – Пример системы виртуальной реальности на основе оптической технологии захвата движения

Система ВР, показанная на рисунке 3, устроена следующим образом. Специальные маркеры размещены в определенных точках на теле пользователя, а видеокамеры в фиксированных положениях отслеживают их движение. Собранные данные впоследствии анализируются программным обеспечением для обработки изображений.

Подход на основе оптической технологии захвата движения позволяет получать очень точные данные о движении внутри специально спроектированного помещения при условии использования большого количества камер слежения. Данный подход, хорошо зарекомендовавший себя при использовании в специально подготовленных помещениях, неприменим на открытых пространствах. В последнее время исследуются относительно недорогие технологии оптического отслеживания движения, которые привлекательны тем, что не требуют ни маркеров, ни специальной настройки.

5.3 Интерфейсы на основе технологии захвата лица

Интерфейсы виртуальной реальности на основе технологии захвата лица позволяют системе виртуальной реальности собирать мимические движения пользователя и определять его настроение, такое как радость, печаль, страх, гнев, удивление, неприязнь, мечтательность, недоверие, озабоченность, уход, подозрение и т. д., с его последующим переносом в виртуальную среду. Интерфейсы данного типа можно разделить на три категории: интерфейсы анализа движений лица, движения глаз движения губ [43-45].

Пример подобного интерфейса показан на рисунке 4.

Рисунок 4 – Определение эмоций пользователя на основе технологии захвата лица

На рисунке 4 проиллюстрирован интерфейс виртуальной реальности на основе технологии захвата лица: пользователь с надетым HMD-дисплеем, который используется для отслеживания выражения лица (А); внутренняя часть HMD-дисплея, с инфракрасными светодиодами, видимыми по радиусу окуляров, выделенными красными кружками (В); изображение глаз пользователя (С) и вывод динамически сгенерированного аватара (D), отображающего настроение пользователя.

6 Сенсомоторные интерфейсы

Роль сенсомоторных интерфейсов виртуальной реальности заключается в передаче движений пользователя в виртуальную среду и получении пользователем осязаемого ответа, который может быть представлен, помимо изображения, в виде различных вибраций, толчков и звуков.

Интерфейсы подобного вида имеют некоторое сходство с симуляторами движения, которые передают изменение ориентации и ускорения пользователю. Их используют при необходимости создания иллюзии материализации объектов, присутствующих в виртуальной среде: на часть тела, соприкасающуюся с виртуальным объектом, подается ответ (например, толчок или вибрация), который пользователь, возможно, ощутил бы при взаимодействии с подобным объектом в реальном мире. Такой эффект используется для улучшения погружения пользователя в виртуальную среду.

В состав сенсомоторных интерфейсов обычно входят такие элементы управления, как манипуляторы, джойстики, перчатки виртуальной реальности, экзоскелеты и т. д. Основная проблема построения подобных интерфейсов заключается в том, что они должны быть построены на прочном каркасе, что обычно доставляет пользователю определенные неудобства сковывая его движения [26].

Пример подобного интерфейса представлен на рисунке 5 [46].

Изображение выглядит как текст

Автоматически созданное описание

Рисунок 5 – Сенсомоторный интерфейс виртуальной реальности «VibroTac»

Представленный на рисунке 5 сенсомоторный интерфейс виртуальной реальности «VibroTac» [46] включает в себя два манипулятора, при помощи которых пользователь может проводить виртуальную сборку и проверку технического обслуживания. Благодаря подобному интерфейсу виртуальной реальности инженеры могут оценить ремонтопригодность или возможность монтажа механических частей в сложных продуктах, таких как автомобили или самолеты.

«VibroTac» уведомляет пользователя о соприкосновении его руки и объектами в виртуальной реальности: при соприкосновении пользователь оповещается посредством вибрации манипулятора и специфичным звуком, похожим на стук. Причем, чем глубже рука пользователя проникает в виртуальный объект, тем сильнее пользователь ощущает вибрацию.

ЗАКЛЮЧЕНИЕ

Технологии виртуальной реальности являются одними из наиболее перспективных на данный момент и используются во многих областях промышленности, зачастую в виде различных тренажеров и обучающих приложений, а также в армии, медицине и индустрии развлечений.

В данной работе были рассмотрены основные типы интерфейсов виртуальной реальности, включая сенсорные, сенсомоторные, тач-интерфейсы и интерфейсы, основанные на моторике пользователя.

В работе были описаны особенности организации интерфейсов виртуальной реальности, при этом было отмечено, что для создания качественных, хорошо спроектированных и удобных для пользования интерфейсов требуется учитывать множество особенностей пользователя, включая когнитивные особенности, обоняние и осязание, антропометрические особенности.

Интерфейс виртуальной реальности должен быть эргономичным, у пользователя не должно возникать мышечной усталости. Для этого возможно, и на практике зачастую используется сочетание различных видов рассмотренных интерфейсов, что обеспечивает пользователя альтернативным управлением, улучшенной навигацией, а также повышает качество использования приложения в целом.

Кроме того, в работе делается вывод о необходимости проектирования интерфейсов виртуальной реальности с учетом безопасности пользователя. Интерфейс и поведение пользователя в виртуальной среде не должны приводить к травмам, падениям и т. д.

В работе также рассматривается такое явление, как киберболезнь, которая проявляется в виде тошноты и головной боли и связано с тем, что у пользователя возникает ощущения перемещения в то время, когда его тело остается неподвижным. Интерфейс приложения ВР должен предусмотреть плавную навигацию по виртуальной среде во избежание подобных явлений.

Библиография
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
References
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.

Результаты процедуры рецензирования статьи

В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Со списком рецензентов издательства можно ознакомиться здесь.

Рецензируемая статья посвящена актуальному направлению разработки интерфейсов виртуальной реальности. Рассматриваются виды взаимодействия пользователя со средой, показатели вовлеченности. Авторы уделяют внимание особенностям проектирования интерфейсов виртуальной реальности, сценариям взаимодействия, отмечается необходимость планирования альтернативных каналов управления системой, аппаратных и программных, и возможностей облегчения управления системой пользователем.
Актуальность работы заключается в широком применении виртуальных интерфесов в различных областях науки. Несомненным достоинством статьи является рассмотрение конкретных примеров интерфейсов, анализ их элементов. Рассматривая голосовые интерфейсы, Авторы затрагивают проблему его зависимости от словарного запаса пользователя и необходимость поиска баланса между количеством возможных узнаваемых вариантов и ошибками системы. Большое внимание уделяется интерфейсам, использующим моторику пользователя, перечисляются системы различного назначения, однако конкретные примеры не приводятся. Научную новизну определить затруднительно, т.к. собственное исследование авторами не выполнялось, статья носит обзорный характер.
Стиль изложения. В статье корректно используется профессиональная терминология, формулировки характерны для обзорных статей, имеются иллюстрации в достаточном количестве. Отсутствуют схемы или расчетные величины.
Структура статьи в целом отвечает требованиям к научной публикации, собственные измерения отсутствуют, работа носит обзорный характер.
Библиография содержит 46 источников, в т.ч. в рецензируемых изданиях, из которых 50% за последние 5 лет.
Замечания.
Статья содержит обзор большого количества компонент проектирования систем виртуальной реальности, поэтому каждой из них уделяется очень краткое внимание.
В обзоре требований к системам отсутствует анализ конкретных систем или примеры. Раздел киберболезнь в контексте задач статьи кажется излишним, однако его содержание можно объединить с вопросами безопасности.
Большое внимание авторы уделяют классификации интерфейсов, однако данный раздел не является собственным анализом, а содержит ссылку на публикацию 26, из которой упомянутые сведения сформулированы. В статье имеется ссылка на работу, однако для оценки вклада авторов необходимо дополнить классификацию собственным анализом.
При заимствовании рисунков из анализируемых публикаций, необходимо ставить ссылку не только в теле статьи, но и в подрисуночной надписи (рис.1, 2).
Желательно привести примеры ошибок голосовых интерфейсов, вызванных широким словарным запасом пользователя.
Очень кратко упоминаются тач-интерфейсы, фактически ограничиваясь общими понятиями и без упоминания технических особенности реализации.
Рис. 3, 4 в подрисуночной надписи не указана конкретная система. В описании в тексте необходимо привести более конкретные данные для рис.3.
Авторам рекомендуется поработать над формулировками, сделав их более емкими и убрав вводные и общие слова.
Формулировку заключения в части киберболезни рекомендуется изменить, переставив акцент на ограничения метода.
Статья интересна специалистам в области разработки приложений виртуальной реальности и интерфейсов человеко-машинного взаимодействия, а также специалистам по использованию специализированных систем.
Статья нуждается в доработке, после которой может быть опубликована в журнале «Программные системы и вычислительные методы».
Ссылка на эту статью

Просто выделите и скопируйте ссылку на эту статью в буфер обмена. Вы можете также попробовать найти похожие статьи


Другие сайты издательства:
Официальный сайт издательства NotaBene / Aurora Group s.r.o.