Статья 'Онлайн тестирование, как прием обучения, форма опроса и контроля знаний медицинского персонала' - журнал 'Современное образование' - NotaBene.ru
по
Меню журнала
> Архив номеров > Рубрики > О журнале > Авторы > О журнале > Требования к статьям > Редколлегия > Порядок рецензирования статей > Политика издания > Ретракция статей > Этические принципы > Политика открытого доступа > Оплата за публикации в открытом доступе > Online First Pre-Publication > Политика авторских прав и лицензий > Политика цифрового хранения публикации > Политика идентификации статей > Политика проверки на плагиат
Журналы индексируются
Реквизиты журнала

ГЛАВНАЯ > Вернуться к содержанию
Современное образование
Правильная ссылка на статью:

Онлайн тестирование, как прием обучения, форма опроса и контроля знаний медицинского персонала

Семенов Дмитрий Сергеевич

научный сотрудник, Научно-практический центр медицинской радиологии Департамента здравоохранения города Москвы

109029, Россия, г. Москва, ул. Средняя Калитниковская, 28 стр. 1

Semenov Dmitry

Scientific Associate, Scientific and Practical Center of Medical Radiology of Moscow Healthcare Department

109029, Russia, g. Moscow, ul. Srednyaya Kalitnikovskaya, 28 str. 1

d.semenov@npcmr.ru
Сергунова Кристина Анатольевна

Руководитель отдела разработки средств контроля, ГБУЗ "Научно-практический центр медицинской радиологии ДЗМ"

109029, Россия, г. Москва, ул. Средняя Калитниковская, 28 стр. 1

Sergunova Kristina Anatol'evna

Head of the department of Control Measures Development, Scientific and Practical Center of Medical Radiology of Moscow Healthcare Department

109029, Russia, g. Moscow, ul. Srednyaya Kalitnikovskaya, 28 str. 1

sergunova@npcmr.ru
Ветшева Наталья Николаевна

доктор медицинских наук

Заместитель директора по медицинской части, ГБУЗ "Научно-практический центр медицинской радиологии ДЗМ"

109029, Россия, г. Москва, ул. Средняя Калитниковская, 28 стр.1

Vetsheva Natalia Nikolaevna

Doctor of Medicine

Deputy Director of Medical Department, Scientific and Practical Center of Medical Radiology of Moscow Healthcare Department

109029, Russia, g. Moscow, ul. Srednyaya Kalitnikovskaya, 28 str.1

vetsheva@npcmr.ru
Морозов Сергей Павлович

доктор медицинских наук

Директор, ГБУЗ "Научно-практический центр медицинской радиологии ДЗМ"

109029, Россия, г. Москва, ул. Средняя Калитниковская, 28 стр.1

Morozov Sergei Pavlovich

Doctor of Medicine

Director, Scientific and Practical Center of Medical Radiology of Moscow Healthcare Department

109029, Russia, g. Moscow, ul. Srednyaya Kalitnikovskaya, 28 str.1

morozov@npcmr.ru

DOI:

10.25136/2409-8736.2019.2.26916

Дата направления статьи в редакцию:

18-07-2018


Дата публикации:

18-06-2019


Аннотация: В работе рассматривается онлайн-система тестирования с элементами адаптивного обучения, разработанная для оценки уровня знаний медицинских специалистов по основным направлениям лучевой диагностики. При реализации программы были учтены современные тенденции применения дистанционных технологий обучения. Основными преимуществами онлайн-системы тестирования являются возможность оценки уровня знаний специалистов на различных этапах обучения, а также сокращение времени, затрачиваемого в ходе самостоятельной подготовки, на анализ полученных результатов, и обеспечение доступности расширения и корректировки базы тестовых заданий. Система реализована на языке PHP и взаимодействует с базой MySQL, в которой хранятся тестовые задания и статистические данные. Список вопросов автоматически формируется исходя из выбранной субспециальности на основании разработанной матрицы соответствия, ограничивающей перечень тематик и количество вопросов. Для реализации данного подхода каждому тестовому заданию был присвоен набор тегов. Таким образом, каждый пользователь получает уникальный набор заданий по выбранному направлению. В работе рассмотрено одно из возможных перспективных направлений дальнейшего развития системы - применение методов адаптивного обучения, которое, в отличие от традиционного, ставит перед собой задачу повышения качества образования путем создания индивидуальной образовательной программы. Применение предложенного в работе алгоритма позволит каждому пользователю, затратив минимум времени, провести детальную оценку уровня своих знаний и, расставив нужным образом приоритеты, построить процесс обучения так, чтобы достичь желаемого уровня по каждому из направлений. Создание адаптивной системы будет способствовать как сокращению затрат на обучение врача в рамках непрерывного медицинского образования, так и повышению качества профессиональной подготовки.


Ключевые слова:

адаптивное обучение, онлайн-тестирование, контроль знаний, медицинское образование, база вопросов, эффективность образования, самоконтроль, индивидуальное обучение, качество образования, образовательная программа

Abstract: This article explores the online testing system with the elements of adaptive learning, developed for assessing the level of knowledge of medical specialists in the key areas of diagnostic radiology. The implementation of this program considers the modern trends of the usage of distance teaching techniques. The main advantages of the online testing system is the possibility of assessing the level of knowledge among the specialists at various stages of education, as well as reduction in time required for self-study, analysis of the acquired results, and ensuring availability for expanding and correction of the database of test assignments. The system is introduces in PHP programming language and interacts with MySQL database, which stores the test assignments and statistical data. The list of questions automatically forms out of the selected sub-specialty based on the compliance matrix that limits the scope of topics and the amount of questions. A set of tags was attached to each of the test assignment, so each user receives a unique set of tasks on the selected subject. The article examines on of the advanced trends of further development of the system – implementation of the methods of adaptive learning, which unlike the traditional methods, is aimed at the improvements of the quality of education by creating an individual education plan. Application of the suggested algorithm allows each user to conduct a detailed assessment of the level of their knowledge, set right priorities, and achieve the desired result, while minimizing their time. Creation of such system will also contribute to the reduction of costs for tuition within the framework of continuing medical education, as well as improvement in the quality of professional training.


Keywords:

adaptive training, online testing, knowledge control, medical education, questions database, education efficiency, self control, individual training, education quality, education program

Введение

Одним из важнейших параметров, влияющих на уровень оказания медицинской помощи, является качество профессиональной подготовки врачей и среднего медицинского персонала. Для оценки способности специалистов выполнять служебные обязанности в соответствии с занимаемой должностью необходим периодический контроль уровня знания [1].

Обеспечение подготовки и переподготовки медицинских кадров на основе непрерывного профессионального образования в «Концепции долгосрочного социально-экономического развития РФ до 2020 года» указано как одна из приоритетных задач развития системы здравоохранения. При этом, одной из основных причин неудовлетворительного качества медицинской помощи отмечена недостаточная квалификация врачей и их низкая мотивация к профессиональному совершенствованию [2].

Присоединение России к Болонской декларации в 2003 г. и вхождение России в единое Европейское образовательное пространство внесло ряд изменений в послевузовское образование врачей [3]. В отличие от большинства европейских стран, где медицинские работники обязаны ежегодно подтверждать свои знания и ежедневно использовать современные руководства на рабочих местах, по существующей системе непрерывного последипломного образования, российские врачи проходят курсы повышения квалификации 1 раз в 5 лет. Ситуация усугубляется тем, что обучение для подтверждения сертификата зачастую носит формальный характер и содержание образовательных программ не всегда отвечает запросам практического здравоохранения. Отсутствие дистанционных технологий преподавания приводит к тому, что обучение на курсах повышения квалификации в очной форме вынуждает врачей, к неудовольствию работодателей, на 1-2 месяца отрываться от практической работы [4].

В настоящее время учебный процесс в системе дополнительного профессионального образования стремится выйти на качественно новый уровень развития, отвечающий современным потребностям общества и государства, инновационному развитию системы здравоохранения [5]. Разрабатываются новые системы профессиональной подготовки, позволяющие специалисту заниматься постоянным совершенствованием своих профессиональных знаний и навыков [6].

При переходе к системе непрерывного медицинского образования содержание разных форм образовательных программ повышения квалификации требует, прежде всего, соответствия актуальным требованиям практического здравоохранения и современных образовательных тенденций, среди которых можно выделить: активное использование дистанционных технологий, проблемное обучение в малых группах, обучение в составе междисциплинарных команд [7].

С учетом интенсивного развития информационных технологий все больше внимания уделяется гибким моделям образовательного процесса, в которых ведущую роль играют различные формы дистанционного обучения, позволяющие создать единое образовательное пространство, лишенное территориальных барьеров. Неотъемлемой частью онлайн-технологий является дистанционная система контроля – универсальный инструмент, определяющий уровень знаний на всех стадиях образовательного процесса.

Для создания подобных систем, как правило, используют онлайн-тестирование, имеющее ряд преимуществ по сравнению с другими методами контроля, в том числе тестовыми заданиями на листах бумаги:

- доступность и мобильность;

- возможность оценки достигнутого в ходе самостоятельной подготовки уровня знаний;

- возможность сравнения результатов с целью оценки степени прогресса на любых этапах обучения;

- сокращение времени на проверку результатов;

- возможность быстрой корректировки тестовых заданий.

Материалы и методы

С учетом описанных выше тенденций развития дистанционного обучения на базе ГБУЗ "НПЦМР ДЗМ" была разработана онлайн-система тестирования, позволяющая оценить степень подготовки медицинских специалистов по основным направлениям лучевой диагностики.

Система реализована на языке PHP и взаимодействует с базой данных MySQL, в которой хранятся тестовые задания и результаты тестирования пользователей. В модуле реализована система с тремя различными уровнями доступа:

1. Пользователи - группа лиц, непосредственно проходящих тестовый контроль знаний.

2. Авторы - пользователи, которым открыт доступ к созданию новых тестовых заданий по выбранной теме с соответствующим набором тегов;

3. Эксперты - пользователи, осуществляющие оценку новых тестовых заданий по выбранным в личном кабинете тематикам с целью определения корректности вопросов, вариантов ответа и правильности присвоения тегов автором.

Перед началом тестирования пользователям предлагается самостоятельно выбрать специальность и субспециальность, на основании которых в автоматическом режиме формируется список из фиксированного количества случайно выбранных из базы данных вопросов по указанному направлению. Осуществляется поиск набора тестовых заданий согласно «матрице соответствий» - таблице, определяющей количество вопросов по тематикам, соответствующим выбранной субспециальности.

Например, при выборе субспециальности «традиционная рентгенодиагностика» вопросы по тематикам распределяются следующим образом:

· голова и шея – 14 %;

· торакальная рентгенология – 16 %;

· абдоминальная рентгенология – 14 %;

· урогенитальная рентгенология – 14 %;

· мышечно-скелетная рентгенология – 14 %;

· сердечно-сосудистая рентгенология – 14 %;

· физика – 14 %

После прохождения тестирования отображается процент правильных ответов, позволяющий оценить уровень профессиональной подготовки. Результаты пройденного тестирования сохраняются для последующего анализа. Кроме того, пользователю предлагается оценить вопросы по уровню сложности и корректности постановки заданий, что в последующем позволяет выявить вызывающие наибольшие сложности тематики и использовать в целях повышения качества образовательного процесса, разработки курсов повышения квалификации, рекомендательных систем и пр.

После запуска системы онлайн-тестирования в нее были добавлены вопросы по 39 тематикам, охватывающим 3 специальности, 12 субспециальностей и 11 специализаций. На сегодняшний день в БД насчитывается порядка 2100 вопросов. Добавление новых тестовых заданий происходит в два этапа:

1. Запись автором в БД вопроса и соответствующих ему вариантов ответа.

2. Контроль качества со стороны эксперта.

Каждый новый вопрос подвергается экспертизе и может быть доработан, при необходимости, до момента включения в список тестовых заданий. Для этих целей реализован личный кабинет эксперта, в котором, указав перечень тематик, он получает список новых тестовых заданий, которые предлагается одобрить или отклонить с указанием соответствующей причины.

Каждому вопросу автором присваивается следующий набор тегов:

1. Назначение теста

2. Уровень образования

3. Специальность

4. Специализация

5. Тематика

6. Тема

Полученные результаты

Общее количество пользователей за три месяца составило 453 человека. Из них 1/3 проходили тестирование более одного раза (рис. 1).

Рисунок1. Диаграмма распределения пользователей по количеству прохождений тестовых заданий

Результаты тестирования показали достаточно высокий уровень подготовки– в среднем, 79 % (среднее отклонение 15 %) правильных ответов (рис. 2).

Рисунок 2. Диаграмма распределения количества аттестуемых по доле правильных ответов.

Количество тестирований с результатом менее 70 % правильных ответов (что соответствует отрицательному результату тестового контроля знаний при прохождении программы аттестации врачей) составило 26 %. Однако, как показал анализ данных повторного тестирования, результат может быть улучшен в процессе самостоятельной подготовки учащихся.

В среднем, пользователям, прошедшим тестирование не менее 4 раз, удалось улучшить результат с 55 до 81 %, а пользователям, прошедшим тестирование не менее 10 раз – с 57 до 88 % (рис. 3). Таким образом, повторное тестирование позволяет не только определить уровень профессиональной подготовки медицинский специалистов и выявить вопросы и темы, вызывающие основные сложности, но также определить эффективность дополнительных образовательных программ и самоподготовки в процессе обучения.

Рисунок 3. Распределение результатов у пользователей, проходивших тестирование несколько раз (черный – первый результат, серый – последний).

Для повышения качества системы тестирования пользователям было предложено отметить "некорректные" с их точки зрения вопросы (рис. 4), что позволило выявить задания, требующие повторного рассмотрения с целью корректировки или замены.

Рисунок 4. Диаграмма распределения отметок «некорректный вопрос».

В результате 13 вопросов (менее 1%) из базы данных были отмечены 5 и более раз и направлены на повторное рассмотрение экспертам по соответствующим тематикам.

Обсуждения и дальнейшие перспективы развития. Оценка возможности применения адаптивных систем обучения.

Использование системы онлайн тестирования дает возможность пользователям не только готовится к аттестационному тестированию, но и участвовать в повышении качества системы путем выявления "некорректных" вопросов. Важным показателем эффективности программы является улучшение результата при повторных прохождениях теста (в среднем, с 57 до 72 %).

Одним из перспективных направлений дальнейшего развития системы онлайн-тестирования является применение методов адаптивного обучения, которое, в отличие от традиционного, ставит перед собой задачу повышения качества образования благодаря индивидуальному подходу. Особенностью ее является тот факт, что ученик самостоятельно выбирает путь изучения материала из имеющихся вариантов и без посторонней помощи осваивает тот или иной предмет успешнее, чем при традиционной методике [8, 9]. Одним из первых такой подход описал Ричард Аткинсон в 1968 г.: разработанная в Стэндфордском университете компьютеризированная адаптивная система изучения языка была применена в начальной школе [10]. Она позволяла ученикам, усвоившим материал, быстрее переходить к следующей теме, что, в конечном счете, привело к повышению успеваемости.

Филип Келман в своей работе описывает успешный опыт применения системы адаптивного обучения ARTS в медицинских вузах, которая помимо точности ответа на вопрос, учитывает и время, затраченное на принятие решения [11].

Для реализации методов адаптивного обучения в описанной выше системе предлагается:

1. Ранжировать все вопросы по пятибалльной шкале, применив метод экспертной оценки;

2. Присвоить уровень сложности и соответствующие теги каждой образовательной программе, то есть, систематизировать все курсы, вебинары и мастер-классы так же, как и тестовые вопросы;

3. Каждому пользователю предоставить доступ к сводной таблице достижений, в которой отображается уровень знаний по тематикам (по умолчанию, нулевой) и пройденным курсам.

В представленной программе тестирования после выбора субспециальности пользователь получает n вопросов по каждой теме, включенной в данную субспециальность, согласно «матрице соответствия». Для создания адаптивной системы предлагается ограничиться одним вопросом из каждой тематики, относящимся к среднему уровню сложности. Далее, проверив ответы, в зависимости от правильности ответа система на каждом шаге будет выдавать более сложный или более простой вопрос по соответствующей тематике. После трех правильных ответов на вопросы одного уровня сложности выдача вопросов по тематике прекращается и выставляется соответствующая оценка (рис. 5).

__20171115__13.23.02

Рисунок 5. Алгоритм выбора последующих вопросов.

В результате, сокращается общее время, затрачиваемое на тестирование, без снижения качества оценки знаний. Вместе с этим, каждое завершенное тестирование пополняет таблицу персональных результатов, визуализирующую общий уровень знаний пользователя (рис. 6). Сохраненные в личном кабинете пользователя сводные данные о персональных достижениях могут быть дополнены рекомендациями, касающимися дальнейшего обучения.

__20180125__16.23.27

Рисунок 6. Результаты тестирования с рекомендациями

Заключение

Основным преимуществом системы онлайн-тестирования с введением принципов адаптивного обучения является возможность выбора индивидуального набора образовательных программ для каждого учащегося, при котором он за наименьшее время достигнет желаемых результатов. Детализированная статистика по отдельным субспециальностям позволит провести оценку необходимости совершенствования образовательных программ по конкретным направлениям подготовки, а увеличение объема данных – повысить точность определения их эффективности.

Создание адаптивной системы будет способствовать как сокращению затрат на обучение врача в рамках непрерывного медицинского образования, так и повышению качества профессиональной подготовки.

Библиография
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
References
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.

Результаты процедуры рецензирования статьи

В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Со списком рецензентов издательства можно ознакомиться здесь.

Рецензия на статью
«Онлайн тестирование,
как прием обучения, форма опроса и контроля знаний медицинского персонала»

Предмет исследования является весьма ценным и актуальным. Это «онлайн-система тестирования с элементами адаптивного обучения, разработанная для оценки уровня знаний медицинских специалистов по основным направлениям лучевой диагностики».
Методология исследования построена на совокупности теоретических методов – анализ и обобщения нормативных и теоретических материалов по заявленной теме, и прикладных методов. К последним относится реконструкция методики, ее стандартизация, а также проведение тестирования. В исследовании приняли участие 453 человека, 30% из которых проходили тестирование более одного раза. Таким образом, повышается надежность полученных данных.
Базой для проведения исследования стала ГБУЗ "НПЦМР ДЗМ", что позволило ликвидировать разрыв теории и практики, разработать инструмент, который максимально отвечает прикладным задачам.
Актуальность работы связана с веяниями времени, которые построены на трендах цифровизации. Кроме того, индивидуальные образовательные траектории являются сегодня центральным условиям получения качественного образования. Таким образом, создание индивидуальных образовательных траекторий как элемента адаптивного обучения весьма востребовано в профессиональном образовании. В случае, когда наряду с традиционным образованием применяются онлайн-технологии, это еще повышает эффективность обучения. Следовательно, актуальность темы исследования не вызывает сомнений.
Важно, что выбранная тема удачно вписывается в идеи повышения качества подготовки медицинского персонала.
Новизна исследования прослеживается в предложенном алгоритме онлайн-тестирования, который имеет следующие преимущества:
1) возможность самостоятельного тестирования - любое время, без привязки к аудитории и преподавателю;
2) минимальные затраты времени;
3) детальная оценка уровня знаний;
4) расстановка приоритетов для последующего выстраивания индивидуальной траектории обучения.
Стиль, структура, содержание.
Статья структурирована. В ней выделены вводная, основная и заключительная части.
Во вводной части автор обосновывает необходимость повышения качества образования медицинского персонала, обосновывает преимущества онлайн-системы тестирования. К ним относятся, во-первых, возможность оценки уровня знаний специалистов на различных этапах обучения, а во-вторых, сокращение времени на самостоятельную подготовку и анализ полученных результатов, и в-третьих, обеспечение доступности базы тестовых заданий для необходимой коррекции и обновления.
В основной части автор описывает основные особенности разработанной системы:
 реализация на языке PHP
 взаимодействие с базой MySQL, в которой хранятся тестовые задания и статистические данные.
 автоматическое формирование списка вопросов с ориентацией на выбранную субспециальность;
 использование разработанной матрицы соответствия для определения перечня тем и количества вопросов.
Важно, что каждому тестовому заданию присваивается набор тегов, в результате каждый пользователь получает уникальный набор заданий по выбранному направлению.
Преимуществом представленной статьи является подробное описание алгоритма использования онлайн-системы тестирования, с характеристикой конкретных примеров (например, набор тем вопросов по субспециальности «традиционная рентгенодиагностика»).
Результаты тестирований представлены в статье наглядно – с помощью графиков и гистограмм.
В заключительной части автор делает выводы о возможностях адаптивной системы оценки знаний. Она будет способствовать с одной стороны, сокращению затрат на обучение врача в рамках непрерывного медицинского образования, а с другой стороны - повышению качества профессиональной подготовки.
Стиль изложения в статье отвечает требованиям научности, при этом он максимально доступен, логичен. Оформление работы также соответствует требованиям, предъявляемым к научным статьям.
Библиография достаточная, она содержит 11 литературных источников.
Источники весьма содержательные – нормативные акты, статьи в периодических изданиях, как отечественных, так и зарубежных авторов.
Список литературы оформлен без ошибок, в соответствии с требованиями ГОСТа.
Апелляция к оппонентам: основные положения работы в полном объеме отражают содержание заявленной темы исследования. Статья рекомендуется к публикации.
Выводы, интерес читательской аудитории: Тема весьма актуальна, имеет ценность для ученых и практиков в области медицинского образования. Для читателей данная статья представляет интерес, в ней отражены современные тенденции применения дистанционных технологий обучения.
Ссылка на эту статью

Просто выделите и скопируйте ссылку на эту статью в буфер обмена. Вы можете также попробовать найти похожие статьи


Другие сайты издательства:
Официальный сайт издательства NotaBene / Aurora Group s.r.o.