Моделі аналізу дій людини в системах прокторингу на основі штучного інтелекту, та набори даних для них

Анотація

У цій статті описано підхід до побудови спеціалізованої моделі для аналізу дій людей у системах прокторингу на
основі штучного інтелекту та запропоновано прототип набору даних, який містить дані, специфічні для прикладної області. 
Стрімкий розвиток технологій машинного навчання, доступність пристроїв та доступ до Інтернету швидко розвивають
сферу дистанційного навчання. Паралельно з системами дистанційного навчання розвиваються і системи автоматизованого
навчання, які забезпечують функціональний аналіз роботи студентів, імітуючи оцінювання викладачем. Однак, незважаючи
на розвиток технологій обробки зображень та машинного навчання, функціональність сучасних систем прокторингу все ще
залишається на примітивному рівні. В рамках функціоналу обробки зображень вони повністю зосереджені на відстеженні
обличь студентів і не відстежують пози та дії. У той же час, оцінка фізичної активності необхідна не тільки в рамках
навчального процесу, але й для збереження здоров'я студентів згідно з нормативними вимогами, оскільки під час
дистанційного навчання вони проводять весь навчальний процес за комп'ютером або іншими пристроями. В існуючих
реалізаціях цей процес повністю лягає на плечі викладачів або навіть самих студентів, які самостійно опрацьовують
матеріали уроку або тести. При цьому викладачам доводиться або встановлювати контакт через системи відеозв'язку та
соціальні мережі (TikTok, Instagram) та/або аналізувати відеозаписи виконання студентами певних фізичних вправ для
організації оцінювання фізичної активності. Відсутність такої функціональності в системах прокторингу на основі штучного
інтелекту уповільнює навчальний процес та потенційно шкодить здоров'ю учнів у довгостроковій перспективі. У цій статті
представлено додаткові вимоги до функціональності систем прокторингу на основі штучного інтелекту, зокрема
функціональність аналізу дій людини для оцінки фізичної активності та контролю за дотриманням гігієнічних правил
роботи з комп'ютером під час навчального процесу. Для цього було використано фундаментальну модель InternVideo для
обробки та аналізу дій студента. На її основі було розроблено підхід до побудови спеціалізованої моделі для аналізу дій
студента. Він включає в себе два режими оцінки діяльності студента в процесі дистанційного навчання: статичний і
динамічний. Статичний режим (так звана фаза роботи) аналізує та оцінює поведінку студента під час навчального та
екзаменаційного процесу, де фізична активність не є основним компонентом навчання. У динамічному режимі (так званий
режим фізкультури) аналізується та оцінюється студент, який цілеспрямовано виконує фізичну активність (урок
фізкультури, вправи для дітей під час уроку тощо). Також запропоновано прототип набору даних, розроблений спеціально
для цієї прикладної області