Поделиться
Ученые НИУ ВШЭ в Перми учат искусственный интеллект разбираться в фигурном катании
Исследователи из НИУ ВШЭ в Перми разработали NeuroSkate — нейросеть, которая распознает движения фигуристов на видео и определяет правильность выполняемых элементов. Алгоритм справляется с базовыми элементами, дальнейшее развитие модели позволит повысить точность распознавания сложных прыжков. Об этом CNews сообщили представители НИУ ВШЭ.
Фигурное катание — технически сложный вид спорта, где важны не только скорость и сила, но и точность движений. Тренеры привыкли полагаться на собственное зрение и опыт, но объективные данные могут дать больше информации: какие элементы удаются лучше, какие требуют доработки, как меняется техника со временем. Особенно в детском спорте, где группы достигают 15 человек и тренеру сложно одновременно следить за каждым спортсменом.
Команда проекта NeuroSkate (Анна Проворова, Дарья Семенова, Людмила Гергерт, Софья Куликова, Ирина Полякова) решила проверить, как искусственный интеллект справится с анализом движений фигуристов. Исследователи выбрали шесть движений, которые проще всего определить по позе спортсмена: бильман, вращения, кораблик и несколько базовых одинарных прыжков — флип, риттбергер и лутц. Главная идея состояла в том, чтобы нейросеть могла автоматически находить фигуриста на видео, отслеживать его движения и подписывать, какой элемент выполняется.
«Звучит просто, но на практике это задача не из легких. Для обучения алгоритмов нужны большие базы данных, а их в открытом доступе почти нет. В исследованиях анализируют взрослых спортсменов, а вот видео юных фигуристов с размеченными движениями до сих пор никто не собирал», – сказала Анна Проворова, младший научный сотрудник Центра когнитивных нейронаук НИУ ВШЭ в Перми.
Проект реализовывался вместе со Спортивной школой олимпийского резерва «Орленок» в Перми, которая предоставила данные для обучения нейросети.
«Пока фигуристы были на летнем перерыве, мы использовали записи соревнований и открытые видео. Позже удалось снять собственные кадры с тренировок, но только на телефон, без профессионального оборудования, что сказалось на качестве изображения и точности разметки», – сказала Софья Куликова, заведующая Центром когнитивных нейронаук НИУ ВШЭ в Перми.
Распознавание движений состоит из нескольких этапов. Сначала видео разбивается на кадры, на каждом из них выделяются ключевые точки на теле фигуриста. Затем последовательность из 60 кадров с отмеченными точками передается в нейросеть, которая анализирует движения спортсмена.
На первых этапах модель тестировали в бинарной классификации: ей предлагали различать движения попарно, например риттбергер и кораблик, без добавления других элементов. В таком формате система работала стабильно, показывая точность 72%. Но как только задача усложнялась, а элементов становилось больше, система начинала ошибаться. Исследователи продолжили разметку новых видео и дообучили модель, благодаря чему спортсменов стало легче распознавать на видео.
Параллельно разработчики создали веб-приложение, в котором можно загружать тренировочные видео и анализировать статистику конкретного спортсмена. В перспективе это может стать инструментом, который поможет тренерам следить за прогрессом учеников, не пересматривая часы записей.
«Мы надеемся продолжить работу над проектом, так как есть идеи, как улучшить алгоритм: самое первоочередное — собрать большую и качественную базу данных видеозаписей спортсменов. Также есть понимание, как улучшить блок распознавания движений. Например, использовать графовые нейросети. Это очень перспективное направление. Одна из таких моделей (HD-GCN) показала впечатляющие результаты, которые были представлены на крупнейшей конференции по компьютерному зрению ICCV в 2023 г. Однако запустить ее на реальных данных проекта пока не удалось», – сказала Анна Проворова, младший научный сотрудник Центра когнитивных нейронаук НИУ ВШЭ в Перми.
Короткая ссылка
