Поделиться
Виртуальная и дополненная реальность принесут российской экономике 340 млрд рублей
России нужно p54 млрд на развитие технологий виртуальной и дополненной реальности. Соответствующие технологии имеют широкое применение в медицине, образовании и промышленности. В случае успеха российские компании смогут занять 15% от соответствующего мирового рынка, а российская экономика получит к 2024 г. дополнительный вклад в размере до p340 млрд.
Виртуальная и дополненная реальность для российской экономики
В распоряжении CNews оказалась полная версия дорожной карты развития технологий виртуальной и дополненной реальности (VR/AR). Документ подготовлен Дальневосточным федеральным университетом (ДВФУ) в рамках реализации мероприятий федерального проекта «Цифровые технологии» национальной программы «Цифровая экономика».
«Технологии виртуальной и дополненной реальности (VR/AR) являются ключом к принципиально новому уровню взаимодействия человека с цифровым миром, который играет все большую роль в глобальной экономике, политике, социальных отношениях, — говорится в документе. — На сегодняшний день эти технологии получили наиболее серьезное развитие на рынках развлечений и маркетинга, но это не предел, а только первая ступень их внедрения». Наиболее перспективными с точки зрения экономического эффекта являются продукты на основе VR/AR-технологий в сфере промышленного производства, образования, здравоохранения, потребительских сервисов.
У российских компаний, научных и образовательных организаций есть существенные технологические заделы, позволяющие претендовать на лидерские позиции в ряде сегментов мирового рынка, считают авторы дорожной карты. Широкое внедрение VR/AR-технологий способствует развитию экономики страны, существенному повышению производительности и эффективности на промышленных предприятиях в рамках Индустрии 4.0, формированию новых подходов к процессу обучения и повышению уровня образования, повышению уровня здравоохранения и доступности медицинской помощи за счет удаленного присутствия врача. Вместе с этим, VR/AR-технологий создают новейшие способы коммуникаций, потребительских сервисов и формируют массовые медиа для современного поколения.
Виртуальная реальность (VR) — это комплексная технология, позволяющая погрузить человека в иммерсивный виртуальный мир при использовании специализированных устройств (шлемов виртуальной реальности). Виртуальная реальность обеспечивает полное погружение в компьютерную среду, окружающую пользователя и реагирующую на его действия естественным образом.
Виртуальная реальность конструирует новый искусственный мир, передаваемый человеку через его ощущения: зрение, слух, осязание и другие. Человек может взаимодействовать с трехмерной компьютеризованной средой, а также манипулировать объектами или выполнять конкретные задачи. В своей простейшей форме виртуальная реальность включает 360-градусные изображения или видео. Достижение эффекта полного погружения в виртуальную реальность до уровня, когда пользователь не может отличить визуализацию от реальной обстановки, является задачей развития технологии.
Дополненная реальность (AR) — это технология, позволяющая интегрировать информацию с объектами реального мира в форме текста, компьютерной графики, аудио и иных представлений в режиме реального времени. Информация предоставляется пользователю с использованием heads-up display (индикатор на лобовом стекле), очков или шлемов дополненной реальности (HMD) или иной формы проецирования графики для человека (например, смартфон или проекционный видеомэппинг). Технологии дополненной реальности позволяет расширить пользовательское взаимодействие с окружающей средой.
В 2023 г. глобальный рынок дополненной реальности будет достигать $60,5 млрд, виртуальной реальности — $34 млрд. То есть рынок AR будет больше рынка VR. Российский рынок VR/AR-технологий в 2018 г. составил p1 млрд К 2021 г. он вырастет до $178 млн.
| Субтехнология | Пример | Описание решения, включая статус разработки, цель и т.д. | Компания-разработчик |
|---|---|---|---|
| Технологии графического вывода | Шлем виртуальной реальности Total Interactive (МГУ) | Шлем виртуальной реальности. Продукт разработан. Используется в парках развлечений, образовании, коммерческих проектах. TRL — 7. | ООО «Гидродинамика», total-interactive.com |
| Шлем виртуальной реальности Deus | Разработанный продукт, продается в виде DevKit на российском рынке. Обновленная версия шлема виртуальной реальности Odin Pre с лазерной системой трекинга Horus находится на стадии разработки. В решении использованы специальные дисплейные панели для очков виртуальной реальности с общим разрешением более 4K и плотностью пикселей 1057 на дюйм при диагонали 2,89 дюйма. Эти дисплеи позволяют достичь максимальной плотности пикселей среди устройств серийного производства при сохранении компактных размеров корпуса. Высокая плотность пикселей также сводит к минимуму эффект москитной сетки (Screen-door effect). TRL — 4 | ООО «ДЕУС», deusvr.ru | |
| Очки дополненной реальности МГУ | Очки дополненной реальности, отражающие трехмерные объекты с возможностью взаимодействия с ними. На стадии разработки, имеется прототип. Сфера применения — промышленность, космические тренажеры, образование. TRL — 2 | ||
| Система дополненной реальности — оптический элемент (ФПИ) | Оптическая система для создания голограмм. Может быть использована в качестве базового элемента шлема дополненной реальности, т.е. создания голограмм. На стадии разработки, демонстрационный прототип. TRL — 3 | ФПИ | |
| Трекинг движения глаз Total Vision | Окулограф — устройство, используемое для определения ориентации оптической оси глазного яблока в пространстве, то есть для отслеживания глаз. Создается новый шлем с окулографом совместно с Институтом глазных болезней. Портативный мобильный анализатор поля зрения для профессионального использования, способного значительно расширить области применения и объем потенциального рынка. Планируется развитие линейки изделий, предназначенных для проведения диагностических и лечебных процедур в разных областях здравоохранения и медицины — офтальмология, неврология, психиатрия, реабилитация и тд. TRL — 4 | ООО «Тотал Вижен», total-vision.ru | |
| Бинокуляр Noon 3D | Устройство для публичного просмотра VR-контента. Всепогодный корпус позволяет устанавливать устройство на улице, а привычная всем конструкция, аналогично биноскопу, позволяет естественным образом управлять обзором контента. Устройство просто в использовании и не требует специальной подготовки от пользователя. Устройство полностью автономно и не требует постоянного технического сопровождения. Устройство включает в себя стационарное основание, установленную на нем поворотную раму и головной блок, шарнирно закрепленный внутри поворотной рамы. Поворотная рама, в свою очередь, способна свободно вращаться в горизонтальной плоскости. В поворотной раме размещены датчики углов поворота в горизонтальной плоскости. Головной блок, в свою очередь, оснащен аналогичными датчиками вращения в вертикальной плоскости. Датчики углов поворота соединены через микроконтроллер с электронно-вычислительным устройством. В памяти электронно-вычислительного устройства зафиксирована модель пространства, которая передается на стереоскопический бинокуляр в виде изображения. При этом, угловые положения головного блока и поворотной рамы определяются относительно стационарного основания, а изменение угла обзора модели пространства соответствует изменяемой в реальном пространстве ориентации головного блока. Конструктивные особенности бинокуляра, а также специфика его использования, дает нам выгодные преимущества перед традиционными шлемами в вопросе внедрения дополненной реальности. Устройство статично, точка обзора фиксирована, это значительно упрощает механизм трекинга виртуальных объектов в сцене с дополненной реальностью. TRL — 7 | ООО «Диггин дип», noon3d.com | |
| Технологии захвата движения и фотограмметрии | Antilatency | ALT: Antilatency tracker — это компактный беспроводной трекер, часть модульной системы позиционирования, ключевой особенностью которой является простота и невысокая стоимость масштабирования, устойчивость к потере трекинга, а также отсутствие необходимости настройки и калибровки в процессе эксплуатации. Название трекера отражает его ключевую особенность - возможность компенсации задержки отображения (latency). ALT способен не только определять своё положение и ориентацию в пространстве с ошибкой не более 1мм, но и с высокой точностью предсказывать свои координаты на короткий отрезок времени: до 30 миллисекунд. Это полностью компенсирует время обработки и вывода изображения, являющуеся основной причиной зрительного дискомфорта в системах виртуальной реальности. Трекинг базируется на inside-out принципе, используя оптические и инерциальные данные. Размер зоны отслеживания не имеет технологических ограничений, рекомендованная площадка — не более 10000 квадратных метров, ограничений по количеству отслеживаемых целей нет. TRL — 8 | ООО «Альт», antilatency.com |
| Система распознавания жестов 3divi | Аппаратная платформа для разработки и продажи интерактивных приложений на основе трекинга тела и распознавания лиц TVico и SDK для распознавания жестов и лиц Nuitrack. Это решение для отслеживания положения тела по 19 точкам и распознавания жестов, которое обеспечивает возможности Natural User Interface (NUI) в операционных системах Android, Windows и Linux. Платформа Nuitrack является многоязычной и кроссплатформенной. API-интерфейсы Nuitrack включают набор интерфейсов для разработки приложений, использующих Natural Interaction. Основная цель Nuitrack — создание API для связи с 3D-сенсорами. Модуль Nuitrack оптимизирован для процессоров на базе ARM, что означает, что его можно использовать с устройствами Android и другими встроенными платформами. TRL — 6 | ООО «ТРИДИВИ», 3divi.com | |
| TauTracker | Перчатки. На стадии разработки. Технология захвата движений для приложений виртуальной и дополненной реальности, 3D-тренажеров, обеспечивающая пользователю наилучшее погружение за счет высокой точности захвата и отсутствия ограничений, связанных с затенением отслеживаемых объектов и накапливаемой ошибкой. TAU tracker создается на основе собственной магнитно-инерциальной технологии, при этом датчики, располагаются на теле человека для передачи координат различных частей его тела в систему виртуальной реальности. Это позволяет избежать использования камер, решив проблему слепых зон и накапливаемой ошибки (в инерциальных системах трекинга) и обеспечить максимальное погружение пользователя в виртуальную реальность. TRL — 5 | ООО «НАСТЭК», tautracker.com | |
| Нтех Лаб | Набор высокоточных алгоритмов фотограмметрии на базе плоских видеопотоков. Алгоритмы обеспечивают верификацию лиц, идентификацию лиц, обнаружение лиц, определение возраста и пола, распознавание эмоций. На базе данных алгоритмов созданы продукты: FindFace Enterprise Server SDK (платформа для распознавания лиц на базе клиентских сценариев), FindFace Public Safety (система интеллектуальной видеоаналитики для обеспечения общественной безопасности в масштабе мегаполиса, региона и целой страны) и FindFace Security (система интеллектуальной видеоаналитики для обеспечения безопасности, контроля доступа и расследования инцидентов на предприятиях). TRL — 4 | ООО «НТЕХ ЛАБ», ntechlab.ru | |
| 3D-сканер «Калибри» | Calibry — высокоточный портативный 3D-сканер, предназначенный для оцифровки средних и крупных объектов. Он имеет встроенный сенсорный экран и весит всего 700 гр. Calibry может сканировать исторически сложные объекты, такие как острые края, волосы и черные / блестящие предметы. Он также имеет встроенную текстурную камеру (2,3Мп) и может захватывать до 3 миллиона точек в секунду. Таким образом, он гарантирует пользователям быстрый, профессиональный и точный результат (точность — до 0,1 мм; разрешение — до 0,3 мм). TRL — 5 | ООО «НЬЮТЕК», thor3dscanner.com | |
| Piligrim XXI Arcona | Arcona - это экосистема дополненной реальности, построенная на технологии блокчейн. Это площадка, где смогут общаться и создавать совместные проекты разработчики и художники, бизнесмены и энтузиасты. Экосистема строится вокруг глобальной технологической платформы ArconaCore, которая автоматически генерирует AR-слой (Цифровую землю) в любой точке мира. ArconaCore — это набор алгоритмов на базе сверточных нейронных систем и SLAM, который генерирует глобальный слой дополненной реальности. Он будет непосредственно связан с физически существующим ландшафтом и позволит дистанционно размещать и управлять интерактивным контентом на базе естественных маркеров. То есть, пользователь сможет создавать и демонстрировать AR проекты на другом континенте, буквально не выходя из дома. ArconaCore показала высочайшую точность и эффективность областях прототипирования и восстановления поверхностей (surface reconstruction), а также анализа изображений. TRL — 2 | ООО «Пилигрим», piligrimxxi.com | |
| Polarmetr | Система SLAM для определения ракурса съемки фото и координат съемки с использованием поляризационных фильтров. Не в реальном времени. Применяется в области дефектоскопии и 3D-реконструкции объектов. TRL — 2 | ООО «Поларметр», polarmetr.com | |
| Diaram | Система SLAM-трекинга, разрабатывается как независимая от платформы альтернатива системам ARkit и ARcore. TRL — 2 | ||
| The Psycho | Outside-in система трекинга и обратной тактильной связи для обеспечения высокой достоверности симуляции. Применяется в сфере развлечений и в медицине. TRL — 6 | ООО «ПСИХО ТЕХНОЛОДЖИ», thepsycho.ru | |
| CGF Nimble | CGF NIMBLE — система захвата и переноса мимики человека на 3D-персонажа, позволяющая автоматизировать лицевую анимацию компьютерных персонажей, говорящих животных, вымышленных героев и цифровых дублеров. Система лицевого мокапа Nimble, разработанная компанией CGF Innovation, позволяет получать высококачественную реалистичную лицевую анимацию персонажей и улавливать тончайшие нюансы игры актера, перенося их на персонажа. Работа в реальном времени дает свободу оперативно принимать творческие решения, существенно сокращает сроки производства и обеспечивает высочайшую продуктивность работы. Система Nimble LipSync позволяет генерировать мимику трехмерных персонажей на основе звука, что идеально подходит для создания говорящих персонажей, сцен с диалогами в компьютерных играх, цифровых ведущих и виртуальных помощников. TRL — 6 | ООО «СИДЖИФЭК ТОРИ ИННОВАЦИИ» cgfww.com/nimble | |
| Texel | Программно-аппаратный комплекс, предназначенного для сканирования человека и крупногабаритных объектов от компании Тексел, направленный на создание оборудования для формирования трехмерных изображений различных объектов с высокой точностью, в том числе человеческого тела. TRL — 6 | ООО «ТЕКСЕЛ», texel.graphics/ru/ | |
| Cappacity | Cappasity — это комплексное решение для быстрого производства, простого внедрения и анализа 3D-контента. Решение состоит из двух частей: SaaS-платформы Cappasity и клиентского программного обеспечения Easy 3D Scan для создания 3D-моделей. Cappasity.AI — мощный инструмент аналитики для корпоративных клиентов. Cappasity.AI помогает отслеживать поведение клиентов, показывая, как они взаимодействуют с трехмерными моделями, и что им нравится и не нравится в продукте. TRL — 5 | cappasity.com | |
| Senso | Беспроводной контроллер для виртуальной и дополненной реальности, встроенный в перчатку. Перчатка Senso обеспечивает точное отслеживание рук и пальцев с тактильным эффектом обратной связи для каждого пальца. Senso Suit — это набор модулей для трекинга, который дает вам возможность отслеживать движение всего тела. Каждый из модулей поставляется с IMU, вибромотором и модулем SteamVR / Lighthouse, что обеспечивает точное отслеживание и обеспечивает тактильную обратную связь от происходящего. TRL — 5 | senso.me | |
| Vision Labs | LUNA SDK Enterprise представляет собой систему распознавания и анализа лиц, которая обеспечивает эффективную и точную обработку лиц на изображениях и в видео потоке, и может работать на самых разных операционных системах и платформах. LUNA SDK Enterprise состоит из нескольких модулей, каждый из которых решает определенные задачи: FaceEngine — модуль, содержащий основные функции и алгоритмы для обнаружения лица и извлечения дескрипторов; LivenessEngine — модуль, позволяющий отличать лицо реального человека от изображения или видеоролика; TrackEngine — модуль для трекинга лиц и выбора лучшего кадра из потока. | ООО «Вижнлабс» | |
| DVR Smart Track | Технология распознавания человека в пространстве за счет установленных камер. Позволяет отслеживать до 256 человек в неограниченном пространстве. А также позволяет воспроизводить физическое взаимодействие с виртуальными объектами. Точность отслеживания — 1 см, частота кадров — 60 fps. Используется для мобильного VR. Использование камер и разработанного командой программного обеспечения. TRL — 5 | engage2vr.com | |
| Лазерная система трекинга Horus от Deus | Лазерная система трекинга Horus, встроенная в шлем виртуальной реальности. Лазерная система трекинга Horus покрывает 200 квадратных метров всего двумя базовыми станциями. Горизонтальный и вертикальный углы обзора базовой станции составляют 170 градусов. Добавление неограниченного количества базовых станций и поддержка локального мультиплеера позволяют масштабировать зону трекинга, в том числе в помещениях с коридорами. Таким образом Horus подходит как для домашнего, так и для профессионального использования в широком диапазоне кейсов. Стадия пилота. TRL — 4 | ||
| SKM: трекинг для виртуальной реальности | Трекинг тела с использованием радио- инерциальных измерений. Применение недорогих радио модулей для трекинга VR. Разработка уникального софта, позволяющего снизить погрешность «сырых» измерений, получаемых на выходе радиосистемы. Инновационность софта заключается в разработке и формализации эффективной модели движения человека и синтезе на её основе квази-оптимального комплексного следящего фильтра. Системы трекинга, включая субмиллиметровую точность и/или безмаркерные технологии. TRL — 3 | ||
| Разработка прототипа трекера на базе 6 сенсоров с 9 осями. ДВФУ | Разработка прототипа трекера на базе 6 сенсоров с 9 осями (трехосевой гироскоп, трехосевой акселерометр, трехосевой датчик магнитного поля на основе эффекта Холла). Разработка прототипа трекера на базе Raspberry Pi с одним сенсором, масштабирование прототипа до 6 сенсоров. Разработка интерфейса считывания и представления данных с 6 сенсоров. Запуск и настройка системы компенсации внешних магнитных полей для тестирования и отладки трекера. Тестирование сенсоров магнитного поля. Создание системы генерации магнитных полей в объеме до нескольких кубических метров. Расчет конфигурации системы для генерации стационарных и переменных магнитных полей. Разработка алгоритмов определения координат сенсоров с помощью расширенного фильтра Калмана. В качестве альтернативного варианта для описания координат будут использованы кватернионы в комбинации с фильтрами, реализующих алгоритм градиентного спуска. Разработка программного обеспечения для обработки данных, поступающих с сенсоров и расчета координат массива сенсоров. TRL — 2 | ||
| Система регистрации движения тела человека (full body tracker), на основе кинематических датчиков и высокочувствительных сенсоров магнитного поля, работающих в градиентном магнитном поле. ДВФУ | Создание прототипа full body tracker на с регистрацией данных от 20 сенсоров с 9 осями. Разработка алгоритмов определяющих координаты сенсоров с учетом анатомии человека. Разработка компоновочной схемы трекера с учетом проходящих потоков данных. Разработка программного обеспечения для обработки данных, поступающих с сенсоров и расчета координат массива сенсоров. Разработка 20-канального контроллера, включающего модули регистрации данных, поступающих с сенсора, вычисления координат каждого сенсора, передачи данных на конечное устройство. Разработка модулей интеграции трекера со средой разработки Unity. TRL — 2 | ||
| Интерфейсы обратной связи и сенсоры | Exo-film | Двухместная платформа обратной связи с углом вращения 360°, 3D-Панель LCD, терминалом контроля и набором спецэффектов («ветер», «дождь», «молнии» и т.д.) для применения в развлекательных аттракционах. TRL — 7 | ООО «Гейм системс», exo-film.com/en |
| Enter VR | Платформа обратной связи для игровых симуляторов (кресло для автомобильных симуляторов в VR). TRL — 4 | ООО «ЭНТЕР ВР», enter-vr.com | |
| Перчатка Raccoon.world | Их разработки — перчатка с опцией трекинга и тактильной отдачи, а также клипса для определения положения руки в пространстве. Устройство активного взаимодействия с виртуальным миром, в основе которого лежит система регистрации мелкой моторики рук, трекинга и форс-фидбека. Клипса Raccoon.world. Гаджет, отвечающий за ориентацию в цифровом пространстве. Это универсальный контроллер для видеоигр и управления различной техникой, оборудованный дополнительными кнопками. Обладает уникальным форм- фактором. TRL — 3 | raccoon.world | |
| Технологии передачи данных | DVR | Протокол стриминга, позволяющий осуществлять рендеринг готового изображения на сервере и транслировать его в реальном времени на мобильный VR шлем пользователя. TRL — 3 | engage2vr.com |
| G-Core | Медиаплатформа G-Stream поддерживает стриминг с адаптивным битрейтом до 4K в форматах Full HD, 360° или 3D без задержек и буферизаций. TRL — 6 | gcorelabs.com | |
| CDN Video | CDN Video — сеть доставки контента, которая состоит из множества серверов со специализированным ПО для защиты и ускорения отдачи контента конечному пользователю в любой момент времени, из любой точки мира и на любое устройство. С помощью сервисов CDN можно организовать онлайн трансляцию на миллионы пользователей в высоком разрешении или формате 360°, раздать любой статический контент на самых высоких скоростях, значительно оптимизировать сайт и ускорить его загрузку. TRL — 6 | cdnvideo.com | |
| Средства разработки и технологии совершенствования пользовательского опыта (UX) со стороны разработчика | ВГТ | Оптимизированный способ представления 3D-графики, позволяющий добиться оптимизации по сравнению с ближайшими конкурентами до 10 раз. Не полигональное представление. Решение включает в себя формат, конвертер, редактор. TRL — 5 | ООО «ВГТ», webgears.app |
| CGF ViewGA | VIEWGA — профессиональная система дополненной реальности, позволяющая в режиме реального времени совмещать съемочный материал с фотореалистичной компьютерной графикой и осуществлять автоматический сбор и хранение метаданных, необходимых для работы на стадии постпродакшена. TRL — 6 | ООО «СИДЖИЭФ ВЬЮГА», cgfww.com/rnd/viewga | |
| R3DS | Wrap — технология обработки данных при 3D-сканировании. При работе с большим набором похожих объектов, таких как 3D-модели человека, Wrap позволяет взять существующую базовую сетку и не жестко подогнать ее к каждому сканированию.Wrap также предоставляет набор очень полезных инструментов обработки сканирования, таких как децимация, фильтрация сетки, проекция текстуры, блендшейпы и многое другое. TRL — 9 | russian3dscanner.com | |
| Unigine | 3D-платформа визуализации, которая полностью интегрируется с устройствами виртуальной и дополненной реальности. В числе характеристик: встроенная поддержка стереоскопических и ассиметричных проекций, устройства отслеживания положения головы, устройства захвата движения. Реалистичная симуляция графики и физики. Реализует достоверную визуализацию атмосферы, водной поверхности, ландшафта, естественных и искусственных объектов, в режиме реального времени. Поддерживает повышенную точность позиционирования объектов, модель круглой Земли (геоид) и работу в географических координатах. Включает в себя модули: 3D-визуализации, управления виртуальной сценой, физической симуляции, GUI, поиска пути, звука, межобъектного взаимодействия. Снабжена программными интерфейсами на языках C++, C# и UnigineScript. Поддерживает вывод на стандартные мониторы, VR- шлемы, видео-стены и многоканальную (в режиме кластера) визуализацию на криволинейных экранах (с программной коррекцией нелинейных искажений и компенсацией областей пересвета от проекторов). Помимо широкого спектра стандартных форматов данных, поддерживает работу с САПР и ГИС данными. Поставляется в комплекте с визуальным 3D-редактором виртуальных сцен, стандартной библиотекой объектов и документацией. Работает в средах Windows и Linux (включая Astra Linux Special Edition, сертифицированный для применения силовыми ведомствами РФ).Поддержка повышенной точности позиционирования объектов, модель круглой Земли (геоид) и работа в географических координатах — эти возможности (отсутствующие в других решениях) позволяют работать в масштабе всей планеты. Точность позиционирования объектов: 64 бита на координату. TRL — 9 | unigine.com | |
| Платформенные решения для пользователей, включая дистрибуцию и универсальные пользовательские редакторы | iVariant Varwin | Инструменты создания/изменения контента в виртуальной реальности («power point» для иммерсивных материалов и уроков), доступная для использования учителем. TRL — 6 | ООО «ОМВ», ivariant.pro |
| Fibrum Desirium | Система дистрибуции VR-контента Desirium. Постоянно расширяющийся каталог коротких впечатлений (т.н. «экспириенсов»), упакованных в единое приложение. «Экспириенс» — короткий и интерактивный VR-контент длительностью от 2-10 минут, рассчитанный на получение эмоций определенного спектра. Продукт уже представлен на рынке. В случае создания универсальной системы дистрибуции потребует существенной доработки. TRL — 7 | ООО «ФИБРУМ» | |
| District Zero | Тактические симуляторы. Развлекательный продукт уже на рынке. В случае создания универсального тактического симулятора, потребует существенной доработки. TRL — 7 | district0.com/ru | |
| EligoVision | Инструментарий для создания проектов на базе технологии дополненной реальности — EV Toolbox. TRL — 6 | ООО «ЭЛИГОВИЖН», eligovision.ru | |
| Tvori.co | Инструмент создания анимации для повествовательных историй. Продукт включает в себя особый UX и библиотеку объектов для использования при создании анимаций. Проект опубликован в «раннем доступе». TRL — 6 | tvori.co | |
| Прикладные технологии для образования | Тренажеры hard skills и soft skills | ||
| Платформа ISP | Платформенное решение для создания и внедрения тренажеров hard skills и soft skills с функционалом сетевого взаимодействия, аналитики поведенческих данных, распознавания и анализа речи, библиотеки объектов и др. Платформа имеет открытый SDK. Внедрения в компаниях: BIOCAD, Сбербанк, ГазпромНефть. TRL — 7 | ООО «Модум Лаб», modumlab.com | |
| Платформа Skill Hub VR | Платформенное решение для VR-тренажеров коммуникационных навыков (soft skills) с диалоговыми симуляциями. Внедрение в компании X5 Retail Group. TRL — 7 | Cerevrum, cerevrum. com | |
| Платформа VR Professionals | Платформенное решение для тренажеров для hard skills и soft skills для рабочих кадров промышленных компаний. Работает «из коробки», имеет открытый SDK. Функционал универсальный и подходит заказчикам различных сфер. TRL — 7 | ООО «Виар трейнинг системс», vr-professionals.com | |
| Платформа hrvr.Academy | Платформенное решение для обучения сотрудников компании с помощью интерактивных симуляций в виртуальной реальности. Создана полноценная экосистема, состоящая из модульных образовательных симуляций в виртуальной реальности с AI системой предоставления обратной связи по результатам обучения и веб-портала со стандартными функциями LMS. Возможность адаптации сценариев под требования заказчика без участия разработчиков. TRL — 4 | ООО «ВиАр Суперсоник», hrvr.academy | |
| Логос | Платформенное решение для разработки симуляторов для спец.техники, в том числе для техники двойного назначения (hard skills). TRL — 9 | ООО «Логос- АТ», logos-sim.com | |
| Логос | Технология автономной подготовки высокодетализированных учебных полигонов в VR пространстве, включающая мобильный сканирующий комплекс с использованием прецизионного навигационного оборудования, многопользовательскую геоинформационную систему сбора данных (на стадии разработки). TRL — 4 | ООО «Логос- АТ», logos-sim.com | |
| FSA | Специализированное программное обеспечение для обучения и тренингов сотрудников правоохранительных органов (следователей и экспертов-криминалистов) и студентов юридических специальностей. Редактор VR-контента и VR-симулятор (тренажер) для практического обучения. Позволяет реализовать виртуальное ситуационное моделирование и обучение в ультрареалистичной среде с полным погружением. TRL — 6 | ООО «ФСА», fsa3d.com | |
| Визитек | Интегрированная система обеспечения безопасности работ (ИСОБР) — модульный VR-система для создания тренажеров по автоматизации процессов ОТиПБ. С помощью VR-технологий воссоздаются производственные объекты и сценарии обучения людей действовать в нештатных ситуациях, анализировать человеческие и эксплуатационные ошибки, выявлять корневые причины инцидентов. TRL — 4 | ООО «Визитек», visitech.ru | |
| SIKE | Программное обеспечение обучающих систем с виртуальной реальностью для промышленности, медицины, ЖКХ и др. TRL — 4 | SIKE Studio, e-learn.sike.ru | |
| PraxisVR | Учебные тренажеры и симуляторы в виртуальной реальности для отработки навыков (hard/soft skills) TRL — 5 | PraxisVR, praxisvr.net | |
| X-Reality Конференц-зал | Учебные тренажеры и симуляторы в виртуальной реальности для отработки навыков (hard/soft skills) Система взаимодействия в виртуальном пространстве с функциями распознавания движений, жестов пользователя при использовании широко доступного VR оборудования и воспроизведение в визуальном пространстве поведения и реакции в многопользовательском сетевом режиме. Пользователи видят друг друга, взаимодействуют друг с другом посредством XR-аватаров (проекций реального человека) и воспроизводящие в 3D лицо пользователя по загруженной фотографии. TRL — 5 | ООО «Лайка Интеллект», vr.laikaintellect.ru | |
| Маркетплейс VR/AR-контента | |||
| Luden.io | Платформа для создания интерактивных VR-визуализаций для популяризации знаний для широкого потребителя. В игровой форме в VR-формате определенные знания доносятся до целевой аудитории, стимулируя продолжение процесса усвоения знаний за счет позитивной эмоциональной окраски процесса. Контент адаптирован на широкий круг VR-платформ. Выпущено 2 игры: InMind VR, InCell VR. TRL — 9 | ООО «Нивал ВР», luden.io | |
| Платформа для создания VR/AR-контента | |||
| Платформа iVariant Varwin | Инструментарий для создания/изменения контента для образовательных продуктов с технологией виртуальной реальности («power point» для иммерсивных материалов и уроков), доступная для использования учителем. TRL — 6 | ООО «ОМВ», ivariant.pro varwin.com | |
| Платформа EV Toolbox | Инструментарий для создания контента для образовательных проектов на базе технологии дополненной реальности. TRL — 6 | ООО «Элиговижн», eligovision.ru | |
| Платформа UniVRsity | Платформа для создания онлайн-курсов с применением VR/AR-технологий, позволяющая пользователю собрать обучающий курс с элементами VR/AR без специальных навыков программирования. Платформа является открытой, содержит конструкторы сценариев, реализуется в рамках digital-проекта «Виртуальный университет 4,0». Созданы на платформе онлайн-курса «История и технологии выживания», VR-занятие «Изучение строения кожи». TRL — 6 | Томский госуниверситет, tsu.ru; компания Rubius, rubius.com | |
| Маркетплейс образовательного VR/AR-контента | |||
| Платформа STEM | Программно-аппаратный комплекс и платформа образовательного VR-контента виртуальной лаборатории по химии с использованием VR-технологии, предназначенной для дополнения функционала и возможностей школьной лаборатории по химии. Предусмотрена система отслеживания действий каждого пользователя, а также создания учителем новых лабораторных работ без привлечения IT-специалиста. Разработан комплекс методических материалов преподавания, направлено на использование для школьного и средне специального образования. TRL — 6 | Центр НТИ ДВФУ по VR/AR, STEM-Games | |
| MEL science | Платформа образовательного VR-контента с визуализацией химических опытов и процессов. Распространяется в комплексе с материалами для физического проведения опытов для широкой аудитории потребителей и для школьного образования. TRL — 8 | ООО «МЕЛ Саенс», melscience.com | |
| Платформа Modum Lab | Платформа образовательного VR-контента для школьных уроков с практикой. Разработки системы и методики для диагностики знаний школьников по химии за 8-9 и 10-11 классы (для проведения диагностик МЦКО). TRL — 7 | ООО «Модум Лаб», modumlab.com | |
| Прикладные технологии для промышленности | Проектирование и приемка макетов в VR/AR | ||
| VR Concept | Программное обеспечение позволяет визуализировать САПР-данные и работать с виртуальными макетами в любых системах виртуальной реальности, будь то шлем или профессиональная проекционная система типа CAVE (комната виртуальной реальности). TRL — 7 | ООО «ВР Концепт», vrconcept.net | |
| Unigine | 3D-платформа визуализации, которая полностью интегрируется с устройствами виртуальной и дополненной реальности. Помимо широкого спектра стандартных форматов данных, поддерживает работу с САПР и ГИС данными. Поддержка повышенной точности позиционирования объектов, модель круглой Земли (геоид) и работа в географических координатах — эти возможности (отсутствующие в других решениях) позволяют работать в масштабе всей планеты. Точность позиционирования объектов: 64 бита на координату. TRL — 9 (в рамках данного кейса применения — TRL 7) | unigine.com | |
| Строительство, введение в эксплуатацию, вывод из эксплуатации объектов | |||
| Itorum MR | Компания разрабатывает услуги и сервисы для промышленности на основе VR/AR-технологий. Удаленный эксперт: Программно-аппаратный комплекс с очками дополненной реальности. Комплекс позволяет значительно сократить потери предприятия при пуско-наладке, техническом обслуживании и ремонте оборудования за счет оперативного привлечения высококвалифицированных экспертов из любой точки мира. При этом эксперт имеет возможность управлять техником, «видя из его глаз». Виртуальный тренажер позволяет сформировать у обучаемого понимание порядка выполнения операций, понять фактические размеры изделия и получить представление об инструментах и принадлежностях, используемых в процессе выполнения операций. Комплекс информационной поддержки позволяет сократить вероятность отказа по вине специалистов производственных и сервисных подразделений предприятий за счет указания пользователю точного порядка выполнения технологических операций. TRL — 7 | ООО «ИТОРУМ ЭМ АР», itorum-mr.ru | |
| Revizto | Revizto — ПО для постановки и отслеживания задач в реальном времени при совместной работе над BIM-проектами. Revizto, объединяя все данные модели в единую интерактивную 3D-среду, позволяет не только иметь быстрый доступ ко всей проектной информации, но и совместно работать с ней. С помощью удобного инструмента Revizto Issue Tracker участники проекта могут легко идентифицировать и управлять проектными задачами как в 3D, так и 2D, а также работать с коллизиями из Navisworks. TRL — 7 | ООО «Визерра», revizto.com | |
| BrioMRS | Программно-аппаратный комплекс. В аппаратной части проект представлен очками виртуальной реальности, датчиком глубины и тактильными перчатками. Аппаратная часть позволяет пользователю получать доступ к 3D-модели объекта строительства, совмещённой с реальным изображением, что даёт увеличение эффективности использования всех доступных визуальных возможностей технологии BIM: просмотр и изменение параметров объекта «на ходу», совмещение 3D-модели с реально существующей реализацией. TRL — 6 | ООО «ТРАНСИНЖКОМ», briomrs.ru | |
| Hologroup | Программное решение для BIM в AR, направленное на осуществление строительного надзора непосредственно на строительной площадке. | ООО «ХОЛОГРУПП», holo.group | |
| Эксплуатация и сопровождение | |||
| Itorum MR | Компания разрабатывает услуги и сервисы для промышленности на основе VR/AR-технологий: Удаленный эксперт: Программно-аппаратный комплекс с очками дополненной реальности. Комплекс позволяет значительно сократить потери предприятия при пуско-наладке, техническом обслуживании и ремонте оборудования за счет оперативного привлечения высококвалифицированных экспертов из любой точки мира. При этом эксперт имеет возможность управлять техником, «видя из его глаз».Виртуальный тренажер позволяет сформировать у обучаемого понимание порядка выполнения операций, понять фактические размеры изделия и получить представление об инструментах и принадлежностях, используемых в процессе выполнения операций. Комплекс информационной поддержки позволяет сократить вероятность отказа по вине специалистов производственных и сервисных подразделений предприятий за счет указания пользователю точного порядка выполнения технологических операций. TRL — 7 | ООО «ИТОРУМ ЭМАР», itorum-mr.ru | |
| Hologroup | Программное решение для сопровождения технологических операций в AR. Реализован пилотный проект для ENEL Group. TRL — 6 | holo.group | |
| Применение VR-симуляторов в обучении инженеров | |||
| VR Concept | Программное обеспечение позволяет визуализировать САПР-данные и работать с виртуальными макетами в любых системах виртуальной реальности, будь то шлем или профессиональная проекционная система типа CAVE (комната виртуальной реальности). TRL — 7 | ООО «ВР Концепт», vrconcept.net | |
| Unigine | 3D-платформа визуализации, которая полностью интегрируется с устройствами виртуальной и дополненной реальности. Реализует достоверную визуализацию атмосферы, водной поверхности, ландшафта, естественных и искусственных объектов, в режиме реального времени. Поддерживает повышенную точность позиционирования объектов, модель круглой Земли (геоид) и работу в географических координатах. Поддерживает работу с САПР и ГИС данными. TRL — 9 | unigine.com | |
| Formika Lab / Martina | Платформа управления контентом: Виртуальный тренажер, виртуальный шоу-рум, демонстрация продукта. TRL — 5 | formikalab.ru | |
| «Full flight» симуляторы и производственные тренажеры | |||
| АВИАРИАЛ | Создаются приложения дополненной реальности для всех категорий персонала, участвующего в обеспечении полетов (пилоты, авиадиспетчеры, техники, сотрудники служб безопасности, водители аэродромного транспорта) и исследуется их эффективность. Для пилотов разрабатывается система посадки в условиях ограниченной видимости (катастрофы, подобные крушению самолета президента Польши в 2010 г.). Отличия от аналогов ведущих производителей авионики (Rockwell Collins, Honeywell) — карманные (буквально) размеры, автономность, стоимость в десятки раз ниже, по существу предлагается принципиально новый пилотский интерфейс. Для авиадиспетчеров, сотрудников служб безопасности и водителей аэродромного транспорта разрабатываются тренажеры, позволяющие безопасно проводить обучение в реальной рабочей среде, моделируя чрезвычайные, аварийные ситуации, разработки не имеют аналогов. Персоналу техобслуживания самолетов адресован компактный мобильный справочник по узлам авиатехники с 3D-иллюстрациями. TRL — 4 | ООО «АВИАРИАЛ», aviareal.com | |
| Логос-АТ | Платформенное решение для разработки симуляторов для спец. техники, в том числе для техники двойного назначения (hard skills). Компания специализируется на алгоритмах поведения отдельных объектов при симуляционных сценариях (агрессивное поведение автомобиля на дороге, симуляция потока, т.н. агентных технологиях. TRL — 9 | ООО «Логос-АТ», logos-sim.com | |
| Платформа VR Professionals | Решение для тренажеров для hard skills для рабочих кадров промышленных компаний: стропольщики, шахтеры и др. TRL — 7 | ООО «Виар трейнинг системс», vr-professionals.com | |
| Rubius | Инженерное программное обеспечение, в т.ч. VR. Библиотека инструментов, предназначенных для создания обучающих модулей по БЖД. Входит около 100 интерактивных 3D- моделей, которые позволяют создавать виртуальную среду обучения и тренировать действия в условиях пожара: кнопки сигнализации, огнетушители, емкости с песком, пожарные гидранты и рукава, элементы окружения и интерьера и так далее. Важным свойством платформы является ее открытость для обмена интерактивными объектами — в будущем любой энтузиаст сможет добавлять на платформу собственные модели. TRL — 5 | rubius.com | |
| GeneralVR | Решения в сфере 3D/VR/AR/MR, в том числе интеграции AR/VR-решений с PLM-контуром: производственные VR-тренажеры, AR для сервисного обслуживания, AR для сборки и электромонтажа, визуализация BIM-данных, визуализация для продаж новостроек, цифровая модель предприятия. TRL — 5 | ООО «ДЖЕНЕРАЛ ВИ АР РИСЕЧ», general-vr.ru | |
| Itorum MR | Компания разрабатывает услуги и сервисы для промышленности на основе VR/AR-технологий. Удаленный эксперт: Программно-аппаратный комплекс с очками дополненной реальности. Комплекс позволяет значительно сократить потери предприятия при пуско-наладке, техническом обслуживании и ремонте оборудования за счет оперативного привлечения высококвалифицированных экспертов из любой точки мира. При этом эксперт имеет возможность управлять техником, «видя его глазами». Виртуальный тренажер позволяет сформировать у обучаемого понимание порядка выполнения операций, понять фактические размеры изделия и получить представление об инструментах и принадлежностях, используемых в процессе выполнения операций. Комплекс информационной поддержки позволяет сократить вероятность отказа по вине специалистов производственных и сервисных подразделений предприятий за счет указания пользователю точного порядка выполнения технологических операций. TRL — 6 | ООО «ИТОРУМ ЭМ АР», itorum-mr.ru | |
| GeneralVR | Группа компаний «Дженерал Ви Ар» (General VR) — это международный интегратор промышленных 3D/VR/AR/MR-решений, обладающий исчерпывающей экспертизой в области прикладных решений, в том числе интеграции AR/VR-решений с PLM контуром: производственные VR-тренажеры, AR для сервисного обслуживания, AR для сборки и электромонтажа, визуализация BIM-данных, визуализация для продаж новостроек. Цифровая модель предприятия. TRL — 5 | ООО «ДЖЕНЕРАЛ ВИ АР РИСЕЧ», general-vr.ru | |
| Revizto | Revizto — ПО для постановки и отслеживания задач в реальном времени при совместной работе над BIM-проектами. Revizto, объединяя все данные модели в единую интерактивную 3D-среду, позволяет не только иметь быстрый доступ ко всей проектной информации, но и совместно работать с ней. С помощью удобного инструмента Revizto Issue Tracker участники проекта могут легко идентифицировать и управлять проектными задачами как в 3D, так и 2D, а также работать с коллизиями из Navisworks. TRL — 7 | ООО «Визерра», revizto.com | |
| АВИАРИАЛ | Создаются приложения дополненной реальности для всех категорий персонала, участвующего в обеспечении полетов (пилоты, авиадиспетчеры, техники, сотрудники служб безопасности, водители аэродромного транспорта) и исследуется их эффективность. Для пилотов разрабатывается система посадки в условиях ограниченной видимости (катастрофы, подобные крушению самолета президента Польши в 2010 г.). Отличия от аналогов ведущих производителей авионики (Rockwell Collins, Honeywell) — карманные (буквально) размеры, автономность, стоимость в десятки раз ниже, по существу предлагается принципиально новый пилотский интерфейс. Для авиадиспетчеров, сотрудников служб безопасности и водителей аэродромного транспорта разрабатываются тренажеры, позволяющие безопасно проводить обучение в реальной рабочей среде, моделируя чрезвычайные, аварийные ситуации, разработки не имеют аналогов. Персоналу техобслуживания самолетов адресован компактный мобильный справочник по узлам авиатехники с 3D-иллюстрациями. TRL — 4 | ООО «АВИАРИАЛ», aviareal.com | |
| BrioMRS | Программно-аппаратный комплекс. В аппаратной части проект представлен очками виртуальной реальности, датчиком глубины и тактильными перчатками. Аппаратная часть позволяет пользователю получать доступ к 3D-модели объекта строительства, совмещенной с реальным изображением, что дает увеличение эффективности использования всех доступных визуальных возможностей технологии BIM: просмотр и изменение параметров объекта «на ходу», совмещение 3D-модели с реально существующей реализацией. | ООО «ТРАНСИНЖКОМ», briomrs.ru | |
| Hologroup | Программное решение для BIM в AR, направленное на осуществление строительного надзора непосредственно на строительной площадке. | ООО «ХОЛОГРУПП», holo.group | |
| VR Concept | Программное обеспечение позволяет визуализировать САПР-данные и работать с виртуальными макетами в любых системах виртуальной реальности, будь то шлем или профессиональная проекционная система типа CAVE (комната виртуальной реальности). | ||
| Formika Lab | Платформенное решение контентом: AR-презентация продукта, AR-квесты, фотозоны, AR-Package, AR-сувенир, виртуальный тренажер, виртуальный шоу-рум, демонстрация продукта, виртуальная экскурсия | formikalab.ru | |
| Rubius | Инженерное программное обеспечение, в т.ч. VR. Библиотека инструментов, предназначенных для создания обучающих модулей по БЖД. Входит около 100 интерактивных 3D-моделей, которые позволяют создавать виртуальную среду обучения и тренировать действия в условиях пожара: кнопки сигнализации, огнетушители, емкости с песком, пожарные гидранты и рукава, элементы окружения и интерьера. Важным свойством платформы является ее открытость для обмена интерактивными объектами — в будущем любой энтузиаст сможет добавлять на платформу собственные модели. TRL — 5 | rubius.com | |
| Прикладные технологии для медицины | Применение VR-симуляторов в обучении хирургов | ||
| Лапароскопический симулятор MedVR Lap Expert (MedVR) | Линейка лапароскопических симуляторов MedVR Lap. Симулятор позволяет пройти обучение от базовых навыков владения лапароскопическим инструментарием до сложных операционных вмешательств с применением командного обучения на различных уровнях сложности и моделированием внештатных операционных ситуаций. 2 версии симуляторов. MEDVR LAP EXPERT — командный симулятор операционной на основе системы MedVR Atlas. Прототип. Стадия TRL — 5, прошел апробацию в СЗГМУ им. Мечникова | ООО «МЕДВИАР», medvr.ru | |
| Офтальмологический симулятор MedVR | Офтальмологический симулятор. Состав: базовая станция, два беспроводных манипулятора (с возможностью подключения имитации провода), модуль педалей, камера трекинга головы, системный блок, монитор, очки виртуальной реальности. Принцип работы: базовая станция внешним видом грубо имитирует микроскоп с мягкой поверхностью вместо окуляров. Две камеры в основании базовой станции в реальном времени отслеживают положения и ориентации манипуляторов. Базовая станция подключена к системному блоку, передает на него информацию о положении манипуляторов и нажатии педалей. Пользователь запускает системный блок, надевает очки виртуальной реальности и оказывается в виртуальной операционной, где он видит перед собой лежащего пациента и микроскоп. В окуляры микроскопа он видит глаз пациента, в области которого он может совершать действия с помощью манипуляторов. В виртуальной среде симулируется физика взаимодействия тканей глаза с инструментами. Смена инструментов происходит в виртуальном окружении. Реальные манипуляторы всегда одни и те же. Возможен режим работы с выводом изображения не в микроскоп, а в виртуальный монитор, расположенный в виртуальной операционной. Сторонний наблюдатель видит, что происходит в виртуальном мире от лица основного пользователя на мониторе, подключенном к системному блоку. TRL — 3 | ООО «МЕДВИАР», medvr.ru | |
| Surgera VR | Surgera VR — это хирургический симулятор, созданный для обучения хирургическим навыкам в игровой форме. В отличие от игр, вроде Surgeon Simulator, разработка самарских врачей и инженеров максимально реалистична. Симулятор позволяет студентам полностью погрузиться в учебный процесс и упрощает закрепление знаний. Сейчас Surgera VR проходит открытое тестирование, команда собирает обратную связь для улучшения приложения и создания новых операций. В ближайшие месяцы планируется дополнить программу остеосинтезом и резекцией остеосаркомы. Новую версию планируется объединить с системой компьютерного планирования и 3D-визуализации «Автоплан». TRL — 4 | СамГМУ | |
| Применение VR в области обучения и аккредитации медицинского персонала в медицинских вузах | |||
| Система симуляции MedVR Atlas (MedVR) | MedVR Altas. Для взаимодействия с виртуальным миром применяется комплексная технология полного погружения в виртуальную реальность MedVR Atlas. В ней реализована система определения положения в пространстве человека и частей его тела. Благодаря этому процессу взаимодействие обучающегося с виртуальным миром происходит естественным образом без контроллеров. Состоит из двух компонентов системы трекинга и костюма виртуальной реальности. Система трекинга отслеживает положение тела и интерактивных объектов в реальном времени. Интерактивный программно-аппаратный симуляционный комплекс VII уровня реалистичности на основе VR (виртуальная реальность) и технологий погружения в гипер-реальность. Симуляционный комплекс предназначен для отработки алгоритма обследования и лечения пациента с набором клинических задач, масштабируется на любые площади, позволяет проводить обучение и аккредитацию врачей.Планируется разработка учебных модулей по следующим направлениям: виртуальная клиника MedVR, виртуальная реанимация, виртуальная скорая помощь, первая помощь (при ДТП), первая помощь (при внезапных заболеваниях ССС), организация здравоохранения. TRL — 5 | ООО «МЕДВИАР», medvr.ru | |
| Применение VR в области нейрореабилитации, психореабилитации и психотерапии | |||
| Virry Antistress | Реализован кейс VR-опыта в комнатах психологической разгрузки. TRL — 6 | virryvr.com | |
| Проект реабилитации детей с расстройствами аутистического спектра (РАС) | Дети с аутизмом имеют отличия в развитии когнитивных, лингвистических и социальных навыков по сравнению с детьми с типичным развитием. Эти различия проявляются в возрасте до трех лет. Ребенок, у которого диагностирован аутизм, имеет некоторые специфические симптомы, затрагивающие социальное взаимодействие, коммуникацию (включая задержки речевого развития), ограниченный спектр возможных поведений, занятий и интересов, что зачастую называется стереотипным поведением. Компания предлагает новую систему обучения, основанную на игре, для детей с РАС. Ребенок при взаимодействии с роботом-медиатором в контексте реабилитационного центра и с помощью виртуального терапевта, в контексте прохождений занятий дома, выполняет упражнения, тактильные устройства стимулируют мышцы, повторяя натуральные импульсы. R4U потенциально может преодолеть разрыв между социальной средой и детьми с РАС. TRL — 4 | Skoltech | |
| Комплекс реабилитационных VR-решений | Создание комплекса реабилитационных VR-решений для людей с нарушениями когнитивных функций мозга. Решения позволят собирать, обрабатывать и анализировать данные для развития методов ранней диагностики и лечения пациентов с нарушениями когнитивных функций. TRL — 1 | ГК Русские Инвестиции, rusinvests.com | |
| Реабилитация людей, перенесших инсульт, с применением VR-технологий | Разрабатывается платформа комплексной реабилитации пациентов, перенесших инсульт с погружением в виртуальную реальность. TRL — 1 | Enter VR | |
| Attilan | Attilan — телереабилитационная платформа, которая включает в себя 3 компоненты: 1. Программный комплекс реабилитации в виртуальной реальности, позволяющий наиболее эффективно обучать пациентов разных возрастов и функциональных способностей жить после травмы и использовать технические средства реабилитации. Использование игрового сценария и доступность технологии позволяет значительно повысить мотивацию, эмоциональный фон пациента и эффективность реабилитации. Комплекс может использоваться как в условиях клиники, так и дома; 2. Программно- аппаратный модуль для ИВ-подключения и сбора реабилитационных данных с любого реабилитационного оборудования. Модуль необходим для анализа активности пользователя и объективного расчета эффективности реабилитационных процедур в течение продолжительного периода реабилитации; 3. Программный комплекс PRM (Patient Rehabilitation Management), задача которого — учет собираемых данных, их визуализация и аналитика, личные кабинеты врача и пациента, реабилитационный маршрут и т.д. TRL — 4 | Моторика | |
| DML | Программно-аппаратное решение, представляющее из себя набор биодатчиков, измеряющий ряд параметров (ЭЭГ, температуру, давление); программное обеспечение для обработки сигналов датчиков и интерпретации, распознавание эмоций; программное обеспечение (игровая среда), которая изменяется под действием полученных пользовательских данных. TRL — 3 | Казанский Федеральный Университет | |
| Рехабункулус | Система Rehabunculus позволяет обеспечить необходимый объем физической активности на каждый день. Система работает автономно и проста в использовании: сейчас внутри программного обеспечения находится более 20 упражнений, направленных на все крупные группы мышц тела, на развитие равновесия, увеличение скорости реакции и координации движений. Система работает по принципу визуальной обратной связи, что дополнительно позволяет стимулировать когнитивную сферу человека, стимулирует способности к самообслуживанию, передвижению, ориентации, контролю за поведением, способности к обучению, труду. TRL — 8 | Rehabunculus, iisci lab.ru | |
| ReviVR | «Ростех» разрабатывает VR-нейротренажер для реабилитации пациентов, перенесших инсульт. Основной принцип работы ReviVR — погружение пациента в виртуальную среду для выполнения упражнений с применением технологий дополненной реальности, которые способствуют созданию новых связей между нервными клетками мозга. «Ростех» создал консорциум «Трансляционная медицина» для разработки, апробации, серийного производства и вывода на международный рынок нейротренажера на базе виртуальной реальности ReviVR, который поможет в реабилитации пациентов, перенесших инсульт. В состав консорциума вошел Национальный медико-хирургический Центр имени Н.И. Пирогова, АО «Инженерно-маркетинговый центр Концерна «Вега» (входит в холдинг «Росэлектроника») и Самарский государственный медицинский университет. TRL — 8 | Ростех | |
| Total Vison | На базе шлема Total Vision, с учетом полученного опыта тестирования технологического прототипа, будет создан первый в мире портативный мобильный анализатор поля зрения для профессионального использования. Дальнейшее развитие проекта — разработка и создание: многофункционального офтальмологического диагностического прибора; многофункционального устройства для медицинской проверки сотрудников перед выходом в смену; универсальной сертифицированной VR-платформы для использования сторонними разработчиками в области медицины. TRL — 4 | Total Vision, НИИ Глазных болезней, МГУ, total-vision.ru | |
| Проект по реабилитации пациентов, перенесших инсульт, спинальную травму, пациентов с тяжелыми двигательным и нарушениями | В результате реализации проекта будет разработано новое технологическое решение проблемы двигательной реабилитации неврологических больных и ранней диагностики нейромышечных нарушений на основе нейроуправляемых программных комплексов с использованием технологий виртуальной и дополненной реальности на основе биологической обратной связи. Полученные продукты направлены на снижение инвалидизации пациентов и восстановление трудовой и социальной адаптации лиц трудоспособного возраста. Характеристики и параметры движений человека обладают высокой вариабельностью. В связи с этим, при обработке данных требуется применять специализированные алгоритмы для работы с биологическими данными. В этой работе предполагается использование алгоритмов нейронных сетей и методов интегральных оценок для решения задач оптимизации процессов нейрореабилитации и ранней диагностики заболеваний нервной системы, сопровождающихся нарушением двигательной функции и равновесия. TRL — 2 | ДВФУ | |
| Проект нейрореабилитации | Технологии ускоренной реабилитации посредством роботизированной механотерапии верхних и нижних конечностей, применения виртуальной и дополненной реальности, с функцией обратной тактильной, зрительной и аудио связей. TRL — 2 | Рубиус, СибГМУ (Консорциум НТИ) | |
| Применение AR/VR во время подготовки к хирургическим операциям | |||
| MedVR Lap Expert c системой воспроизведения уникальных параметров | MedVR Lap Expert с системой виртуальной реконструкции уникальных параметров пациента и интеграции их в виртуальную среду для подготовки к реальной операции TRL — 2 | ООО «МЕДВИАР», medvr.ru | |
| Оптическая медицинская навигационная система для операций в травматологии и нейрохирургии | Разработан первый функционирующий прототип подобной системы в составе оптического блока и ПО для рабочей станции, который позволяет производить привязку и отслеживание в реальном времени инструмента в пространстве. По результатам работы с данным прототипом были проанализированы все недостатки и особенности, касающиеся различных аспектов работы с подобной системой и на текущий момент ведется подготовка к разработке второго варианта системы. В следующем варианте прототипа планируется повысить точность отслеживания навигируемого инструмента, увеличить общую плавность отслеживания системы и дальше расширять функционал и стабильность программного обеспечения. TRL — 3 | Гаммамед, gammamed.ru/navigation | |
| ПАК СППР для диагностики на основе анализа изображений | Целью работы является создание программно-аппаратного комплекса (ПАК) для построения системы поддержки принятия решений (СППР) врачами на основе разработки количественных методов анализа информации с определением причинно-следственных связей возникновения изменений, содержащейся в 2D/3D/4D-медицинских изображениях (рентген, маммография, ангиография, мультипараметические КТ, МРТ, УЗ, ПЭТ исследования, микроскопия и др.) нормальных и аномальных областей и представления этой информации на анатомо- физиологических моделях исследуемых органов и структур тела пациента. СППР должна определять вероятность отнесения к определенному заболеванию присланных для анализа данных и обеспечивать возможность вывода похожих клинических случаев на данный, с возможностью просмотра анонимизированной истории болезни, способах лечения и пр. Работа включает создание методов обработки и анализа изображений разных модальностей, которые обеспечат выделение из них характерных для нормальных и патологически измененных тканей количественных параметров, называемые биомаркерами изображений (БМИ), комплексы которых формируют фенотипы различных нозологических групп. Такими БМИ могут быть параметры контуров, площадей, объемов, текстуры, их динамические изменения (скорости, ускорения, деформации) в процессе функционирования организма. Для этого будут использованы методы математического моделирования, физики твердого и пластичного тела, вычислительной гидродинамики и т.п. Важной задачей является адекватное и наглядное представление результатов врачам в виде анатомо-физиологических моделей. В практической медицине выявление БМИ позволит их использовать в качестве предикторов ранних доклинических проявлений патологических процессов, для выявления факторов риска, решения задач дифференциальной диагностики, оценки резервных способностей организма, выбора тактики лечения, оценки динамики состояния пациента в процессе лечения, оценки эффективности используемого лечения, прогнозирования изменений состояния пациента и т.п. TRL состояния пациента в процессе лечения, оценки эффективности используемого лечения, прогнозирования изменений состояния пациента и т.п. TRL — 2 | Гаммамед, gammamed.ru/navigation |
Средства разработки VR/AR-контента
В дорожной карте технологии виртуальной и дополненной реальности разделены на шесть субтехнологий. Первая из них — это средства разработки VR/AR-контента и технологии совершенствования пользовательского опыта (UX) со стороны разработчика.
Данная субтехнология включает в себя универсальные инструменты разработчиков для комплексного создания решений для VR/AR, универсальные среды разработки, библиотеки цифровых активов, цифровые двойники, аватары и форматы представления данных.
Уровень готовности данной субтехнологии (TRL) в мире находится на максимальной, девятой отметке, в России он несколько ниже — TRL-8. За рубежом лидирующими средствами разработки являются игровые движки Unity и Unreal Engine (от Epic Games).
Ключевым барьером является наличие большого разнообразия форматов работы с 3D-моделями в VR и разрозненный поход к их интеграции, что существенно сдерживает создание качественного универсального отраслевого и специализированного контента за счет сложности разработки VR-специфичного контента. Например, нельзя в веб-формате передавать большие сцены либо проводить автоматическую конвертацию реальных моделей и САПР-контента виртуальных сцен.
Дорожная карта предполагает следующие мероприятия: проведение исследований форматов представления данных в САПР и 3D-движках, в том числе — динамические; разработку алгоритмов конвертации и сопоставления данных с универсальным форматом; реализацию автономного ПО для конвертации и отображения форматов; формирование сообщества разработчиков вокруг универсального формата, учитывая внутренних и внешних разработчиков ПО для государственных корпораций; разработку алгоритмов аналитического представления и обработки данных; реализацию модулей интеграции алгоритма в популярные каналы дистрибуции; проведение исследований математической оптимизации аналитического представления данных и их сжатия; разработку автономного программного обеспечения для создания и редактирования данных в аналитическом формате.
Также запланировано проведение исследований лучших практик и научных подходов к формированию UX/UI для универсального и отраслевого применения VR/AR, проведение научных экспериментов и тестов пользовательского опыта для различных направлений применения VR/AR и реализация подробного описания в формате руководства для разработки UX/UI и совершенствованию пользовательского опыта в VR/AR.
По итогам реализации мероприятий дорожной карты доля форматов инженерной и иной графики, поддерживаемых универсальным конвертером, увеличится с 25% в 2019 г. до 90% в 2024 г. За этот же период процент сжатия графической информации увеличится с 10% до 85-98%, а количество отраслевых стандартов, разработанных UX — с одного до четырех.
Редакторы создания контента и его дистрибуции
Вторая субтехнология — это платформенные решения для пользователей: редакторы создания контента и его дистрибуции. В нее входят универсальные инструменты пользовательского уровня для создания, редактирования и доставки контента в VR/AR, включая библиотеки шаблонов и цифровых объектов, а также специализированные и универсальные маркетплейсы.
Уровень готовности данной субтехнологии в мире находится на отметке TRL-7, в России — на отметке TRL-6. Для первых двух субтехнологий объем рынка в 2019 г. составит $3 млрд. К 2024 г. он вырастет до $5-42 млрд.
В мире лидерами по дистрибуции VR-контента являются традиционные игровые площадки Steam VR, Oculus Store и Vive Port. Лидерами по дистрибуции AR-контента являются традиционные площадки приложений для смартфонов — AppStore и Google Play. Перспективным игроком также является Amazon Sumerian, представляющая веб-интерфейс с конструктором контента для VR.
Ключевыми барьерами является отсутствие специализированных платформ для «требовательного» контента, единой системы дистрибуции, редактора/конструктора создания VR/AR-контента для широкого круга пользователей, не имеющих специальных технических знаний. Это приводит к удорожанию создания VR/AR-контента и невозможности простому пользователю быстро получить доступ к уже созданному контенту.
Дорожная карта предполагает следующие мероприятия: разработку существующих и планируемых технических спецификаций наиболее применимых в мире и в России и набирающих популярность систем доставки контента; формирование универсального набора спецификаций и допущений для возможности интеграции; создание автономного ПО для автоматического размещения контента в каналах дистрибуции; организацию проектного офиса по развитию международного маркетплейса образовательного VR/AR-контента; разработку единых стандартов и методик для образовательных курсов в школах, колледжах, вузах, онлайн- и корпоративного образования.
Также запланировано: формирование перечня наиболее частных пользовательских сценариев по результатам исследования предметных областей и анализ возможности их создания на базе библиотеки; формирование топологии необходимых объектов и сцен для большинства пользовательских сценариев для применения в образовании, промышленности, медицине, проектировании и моделировании, развлечениях, пользовательских сервисах и др.; разработка сцен и объектов; интеграция всей библиотеки в единой программной среде конструктора.
По итогам реализации мероприятий дорожной карты процент поддерживаемых устройств с системой доставки контента увеличится с 30% в 2019 г. до 80% в 2024 г. За этот же период количество интеграций с существующими графическими движками системы доставки контента увеличится с одной до девяти, а количество сцен (библиотек) и объектов в системе создания контента (конструктор) — с 1 тыс. до 20 тыс.
| Субтехнология | Название | Описание | Источник |
|---|---|---|---|
| Технологии графического вывода | Волновод для AR | Ключевые метрики приведены ниже в решении «Специализированная AR-гарнитура» | Экспертная оценка |
| Eye tracker (окулограф) | Частота работы: 1000 Гц, точность: 6 угловых минут, задержка: 1 мс, энергопотребление: 50 мВ, вес: менее 3гр | Экспертная оценка | |
| Программно-аппаратные технологии захвата движения и фотограмметрии | Инфраструктура трекинга: универсальная автономная модульная система трекинга | Точность позиционирования — 1 мм; скорость — 2000 выборок в секунду, задержка менее 1 мс; угол обзора оптической системы — более 220 градусов; неограниченная площадь отслеживания и количество целей отслеживания; вес носимого устройства — не более 20 грамм. Для реализации системы непрерывного отслеживания (трекинга) объектов при перемещении рабочих в производственном помещении | Экспертная оценка |
| Автономный модуль безмаркерного трекинга | Модуль может определять положение в пространстве с точностью 1-5 мм для смещения и с точностью до 5" угловых секунд для ориентации без внешней системы позиционирования. Скорость или производительность — 250 fps Latency — <= 5 мс | Экспертная оценка | |
| 3D-сканер | Время экспозиции одного кадра не превышает 2 мс, возможность снимать динамические сцены с движущимися объектам. На базе камер с частотой захвата изображения до 30 кадров в секунду. Вес — менее 1 кг. | Экспертная оценка | |
| Системы трекинга рук | Точность позиционирования: координаты — < 1 мм, углы поворота — < 0,5 градуса, задержка — 20 мс. Частота обновления данных — 100 Гц. Время автономной работы модуля трекинга — 4 часа | Экспертная оценка | |
| Интерфейсы обратной связи и сенсоры | Встроенный в ткань модуль электромиостимуляции и электрической стимуляции мышц | Стимуляция мышечных волокон, в том числе и глубоких (электромиостимуляция) — EMS. Чрежкожная стимуляция нервных окончаний — TENS. 16 каналов по 5 электродов, всего 80 электродов, расположенных анатомически. Анатомическое расположение. Частота дискретизации — 1 кГц на канал. Частота сигнала — 1-300 Гц на канал. Вольтаж — 0-55 В AC. Ток — ~50 мА на 1 кОм, в зависимости от ширины импульса и частоты. Ширина импульса — 0-60 цс | Экспертная оценка |
| Встренный в ткань модуль биометрического сбора данных | 3 сенсора для сбора ЭКГ. Диапазон вольтажа для ЭКГ — ±300 мВ. 80 сенсоров для сбора кожногальванической реакции. Тип измерения для КГР — активный. Частота дискретизации — 1 Гц. Диапазон сопротивления — 0-240 кОм. Погрешность измерения — <100 Ом | Экспертная оценка | |
| Технологии передачи данных | Протокол передачи данных | Эхо-тест, включая систему рендеринга, не превышает 20мс при объеме канала (передаваемой информации) до 50 Мбит\сек | Экспертная оценка |
| Средства разработки и технологии совершенствования пользовательского опыта (UX) со стороны разработчика | Альтернативный формат представления 3D-данных (аналитический формат) | Степень оптимизации объема описания 3D-данных без потери уровня детализации — от 10 до 100 раз. Частота отрисовки (FPS) для насыщенных 3D-сцен на устройствах низко-среднего ценового сегмента: от 60 FPS до 100 FPS | Экспертная оценка |
| Тотема захвата и переноса мимики человека на 3D-персонажа в реальном времени | Не менее 3 камер на захват мимики персонажа на одного человека, частота захвата — 120 FPS | Экспертная оценка | |
| Графические движки | Поддерживает повышенную точность позиционирования объектов, модель круглой Земли (геоид) и работу в географических координатах. Точность позиционирования объектов: 64 бита на координату. Графический движок поддерживает стек разработки ASTRA LINUX, как минимум позволяет сгенерировать сполняемый файл или инсталяционный пакет в среде ASTRA LINUX | Экспертная оценка | |
| Технология генерации высокодетализированных VR-пространств | Точность сканирования с использованием прецизионного навигационного оборудования — не более 2см. Качество текстур для архитектурных объектов открытых пространств — не менее 1см2*1 пикс. Максимальный размер местности — 100*100 км. Подготовка карты высот на основе высокоточных треков — не более 30 сек на км2. Скорость высокоточного сканирования маршрутов, — не менее 20 км/час в одном направлении | Экспертная оценка | |
| Платформенные решения для пользователей, включая дистрибуцию и универсальные пользовательские редакторы | Конструктор, универсальный пользовательский редактор | см. «Библиотека ЗD-объектов» | Экспертная оценка |
| Библиотеки шаблонов и объектов | см. «Библиотека 3D-объектов» | Экспертная оценка | |
| Инструменты доставки контента (Distribution) | 1. Поддержка интеграции контента, разработанного на Unity, Unreal Engine, Unigine. 2. Поддержка 80% шлемов и гарнитур, систем трекинга, систем обратной связи. 3. Поддержка систем локализации контента. 4. Сетевой протокол поддерживающий не менее до 100 пользователей в одном образовательном курсе | Экспертная оценка | |
| Прикладные технологии для образования | |||
| Модули реалистичных персонажей (аватары) и окружения | см. «Система захвата и переноса мимики человека на 3D-персонажа в реальном времени» | Экспертная оценка | |
| Универсальный интерфейс обмена данными (конвертер и коннекторы) | см. «Конвертер САПР-форматов и/или система визуализации» | Экспертная оценка | |
| Система визуализации макетов и инженерных объектов | см. «Конвертер САПР-форматов и/или система визуализации» | Экспертная оценка | |
| Библиотека 3D-объектов | Показатели: 1. Не менее 10 000 доступных локаций в общей библиотеке; 2. Не менее 10 000 доступных объектов в общей библиотеке; 3. Не менее 10 000 разработчиков имеющих доступ к пополнению библиотеки; 4. Более 60 кадров в секунду, обеспечиваемых VR-клиентом на одной локации с группой объектов 5. До 100 полигонов, используемых в объекте; 6. Локация без объектов, запущенная в чистом виде на VR Ready PC с использованием VR-гарнитуры, должна выдавать более 120 кадров в секунду | Экспертная оценка | |
| Платформа дистрибуции | см. «Библиотека 3D-объектов» | Экспертная оценка | |
| Многопользовательский режим | Кол-во пользователей, одновременно работающих в VR-пространстве — от 2 до 25 (стандартный класс VR) и более. | Экспертная оценка | |
| Специализированная VR-гарнитура для инженерных задач | см. «Специализированный шлем VR» | Экспертная оценка | |
| Инфраструктура позиционного трекинга | см. «Программно-аппаратные технологии захвата движения и фотограмметрии» | Экспертная оценка | |
| Прикладные технологии для промышленности | Гибридная система трекинга | Единый модульный ПАК, позволяющий через единое API интегрировать наиболее популярные системы free roam трекинга. Типы трекинга: лазерный, маркерный, SLAM и др. Топ-10 популярных систем трекинга. Реализация для монтирования к произвольному автономному или носимому устройству. | Экспертная оценка |
| Конвертер САПР-форматов и/или система визуализации | Достижение 100 FPS в VR/AR во время интерактивной работы в реальном времени со сценой со следующих характеристиками: 100 млн полигонов, 1 млн объектов. На базе рабочей станции (ПК) стоимостью до $1500. Поддержка 90% всех САПР- и BIM-форматов «на лету» (открытие или конвертация произвольного файла не превышает 10 минут на типовой VR Ready рабочей станции) | Экспертная оценка | |
| Специализированный шлем VR | Требования к детализации находятся в границах: от 5k пикселей для двух глаз (XTAL) до 60 пикселей на 1 градус (VARJO), «бионическое зрение». Настраиваемое межзрачковое расстояние. SDK и программный интерфейс шлема поддерживает стек разработки ASTRA LINUX | Экспертная оценка | |
| Специализированная AR-гарнитура | Вид световода: световодная пластина с дифракционно-оптическим элементом; угловое поле — не менее 55°; яркость достаточна для восприятия человеком в помещении с уровнем освещенности до 3 000 лк; разрешающая способность — не более 15 угловых минут; цветность — полноцветное; допустимое значение неравномерности полноцветного изображения дополненной реальности — не более 10 %. Время автономной работы — не менее 3 часов при средней нагрузке. Работа при температуре до минус 20 | Экспертная оценка | |
| Распознавание 3D-объектов в реальном времени | Генерация обучающего набора данных на основе цифровой модели изделия; автоматическое определение следующей операции согласно технологическому процессу сборки изделия; классификация по видеоизображению деталей, входящих в изделие или часть изделия с точностью mAP@0,5, не менее 0,8; классификация не менее 15 ручных операций и (или) инструментальных ручных операций с верностью (accuracy) не менее 0,8 | ||
| Варифокальная оптическая система | Изменяемое фокусное расстояние при отображении стереоскопического изображения в зависимости от точки зрения пользователя. Точные метрики будут определены после первичного НИР, первичные метрики оцениваются: угловое поле зрения — 46*38 градусов, глубина планов отображаемого пространства — 1 м, 4,0 м, диапазон регулировки межцентрового расстояния глаз — мм 55.. .75, разрешения матриц — 1280*1024, контраст матрицы — 10000:1 | Экспертная оценка | |
| Прикладные технологии для медицины | Параметры трекинга движений пользователей | 1. Однопользовательские хирургические симуляторы. Отслеживание положения головы пользователя должно производиться с погрешностью не более 1 мм и задержкой не более 10 мс. 2. Клинические и многопользовательские симуляторы. Для командных симуляторов важным параметром является полнота трекинга пользователей. В него входит отслеживание головы, движений рук, ног, пальцев, и т.д. Пользователи должны видеть друг друга в виртуальном пространстве и иметь возможность взаимодействовать друг с другом и с интерактивными объектами | Экспертная оценка |
| Параметры трекинга хирургических манипуляторов | В хирургических симуляторах требуется трекинг манипуляторов как по положению, так и по вращению в абсолютной системе координат. Оптимальная величина погрешности измерений координат — 500 мкм, частота опроса — 100 Гц. В микрохирургических симуляторах максимальная погрешность составляет 100 мкм. Для достижения этих параметров требуется создание новой системы гибридного оптикоинерциального трекинга, работающего в малом масштабе, включающей специализированную электронику, а также алгоритмы обработки данных для минимизации ошибок и задержек | Экспертная оценка | |
| Наличие тактильной обратной связи манипуляторов | В хирургических симуляторах наличие тактильной обратной связи является важным параметром. В эндоскопической хирургии необходима полноценная тактильная обратная связь, создающая ощущения работы с реальными тканями. Необходима возможность эмуляции захвата мягких тканей, упругоонная обратная связь, которая с помощью различных паго натяжения, прикосновения к твердым поверхностям, разрезания. В микрохирургических симуляторах достаточной является вибрациттернов вибрации, эмулирует прикосновение к тканям, их разрезание, деформацию | Экспертная оценка | |
| Командное взаимодействие | Возможность работы в режиме командного симулятора, многопользовательское взаимодействие через интернет. В хирургических бригадных симуляторах важной является возможность участия полноценной операционной бригады, состоящей из минимум 4 человек (хирург, ассистент, анестезиолог, медсестра). У пользователей должна быть возможность взаимодействовать друг с другом (передача голоса) и с виртуальными персонажами, если имеются. Максимальная допустимая задержка при синхронизации данных о положениях пользователей, манипуляторов и виртуальных объектов, составляет 20 мс при работе в локальной сети, 100 мс при работе через интернет | Экспертная оценка | |
| Эргономика, удобство использования | В симуляторах, предполагающих перемещение пользователей в пространстве (командные симуляторы или виртуальные клиники), необходима возможность работы носимого оборудования в автономном режиме, рендер изображения должен производиться на специализированных VR-рюкзаках, непосредственно в очках виртуальной реальности или на удаленном сервере с беспроводной передачей изображения | Экспертная оценка | |
| Полнота симуляции | В хирургических симуляторах необходим процесс симуляции физики тканей пациента в реальном времени, включая механику взаимодействия тканей органов с манипуляторами, кровотечения, коагуляции и т.д. Для обеспечения высокого уровня иммерсивности, необходима достоверная отрисовка операционной, персонажей, оборудования, инструментов и т.д. Тактильная обратная связь должна быть достоверной, в соответствии с механикой взаимодействия с инструментами. В клинических симуляторах большую роль играет имитация поведения пациента, включающая движения, речь, реакции на препараты, возможность вставать, садиться, ложиться | Экспертная оценка | |
| Встроенный модуль электромиостимуляции и электрической стимуляции мышц | 16 каналов по 5 электродов, всего 80 электродов, расположенных анатомически. Анатомическое расположение. Частота дискретизации — 1 кГц на канал. Частота сигнала — 1-300 Гц на канал. Вольтаж — 0-55 В AC. Ток — ~50 мА на 1 кОм, в зависимости от ширины импульса и частоты. Ширина импульса — 0-60 цс | Экспертная оценка | |
| Встроенный модуль инерциальной системы захвата движения | 10 инерциальных сенсоров, 6-осевой режим работы, 9-осевой режим работы. Частота обновления данных — 120 Гц. Сенсоры защищены от электромагнитных полей. Сенсоры защищены по IP68 (попадание влаги и пыли невозможно). Ударопрочная оболочка модулей с сенсорами | Экспертная оценка | |
| Eye tracker (окулограф) | Частота работы: 1000 Гц, точность: 6 угловых минут, задержка: 1 мс. Энергопотребление: 50 мВ, вес: менее 3 гр | Экспертная оценка | |
| Очки дополненной реальности медицинского применения | Дисплеи: два жидкокристаллических дисплея разрешением 1440*1440, частота обновления — 90 Гц. Оптика: особая оптическая система собственной разработки, угол обзора — 50 градусов. Датчики: гироскоп, акселерометр, магнитометр, датчики оптического позиционирования с встроенным окулографом (Eye Tracker): частота работы — 1000 Гц, точность — 6 угловых минут | Экспертная оценка | |
| Шлем виртуальной реальности медицинского применения | Дисплеи: два жидкокристаллических дисплея разрешением 1440*1440, частота обновления — 90 Гц, Оптика: особая оптическая система собственной разработки, угол обзора — 115 градусов. Датчики: гироскоп, акселерометр, магнитометр, датчики оптического позиционирования с встроенным окулографом (Eye Tracker): частота работы — 1000 Гц, точность — 6 угловых минут. Настройка диоптрий в диапазоне +/- 4. Настройка межзрачкогово расстояния в диапазоне 58-73 мм | Экспертная оценка | |
| Отслеживания положения тела | Диапазон датчика глубины от 0,5 до 5 метров, поток данных — 60 кадров в секунду, система отслеживания суставов — 25 опорных точек | Экспертная оценка |
Технологии захвата движения в VR/AR
Третья субтехнология — это технологии захвата движения в VR/AR и фотограмметрии. В нее входят устройства отслеживания, определяющие ориентацию точки взгляда пользователя либо нахождения пользователя, направления его движения и его скорость.
Уровень готовности технологий в мире находится на максимальной, девяткой отметке. В России развитие данной субтехнологии отстает и находится на отметке TRL-8. Мировой рынок соответствующих решений в 2019 г. составил $1 млрд, к 2024 г. он вырастет до $1,5-15 млрд.
Примерами успешных зарубежных решений в данной субтехнологии являются системы позиционного трекинга Optitrack, Vicon, ART cam, Mosys, Qualisys, Phasespace и Zero Latency VR (интегрирована с одноименной VR-платформой). Также к данной субтехнологии относятся система бесконтактного захвата движений рук LeapMotion, универсальный модуль для захвата карты глубины и распознавания объектов в реальном времени RealSense (разработка Intel), костюм для захвата движений Perception Neuron (разработка Noitom), еще один аналогичный костюм Xsens и система трекинга глаз Tobii.
Проблемой для развития данной субтехнологии является тот факт, что современные системы трекинга не универсальны и требуют калибровки. Это весьма дорогостоящий процесс, создающий ограничения для создания feee-roam VR/AR-симуляций и делающий практически невозможным одновременное погружение на одной локации более 6 человек.
Дорожная карта предполагает следующие мероприятия: создание автономной универсальной системы трекинга, включая SDK для интеграции; разработку алгоритмов и модулей ПО для распознавания 3D-объектов в реальном времени и высокоточным позиционированием; формирование подробной технической спецификации с требованиями для отраслевого применения систем трекинга; создание специализированных для промышленности и здравоохранения систем трекинга; привлечение практикующих врачей для оказания консультационной поддержки по созданию специализированного медицинского VR-контента на базе платформы медицинских проектов с применением AR/VR технологий.
Кроме того, запланировано субсидирование международных пилотных проектов и международных клинических исследований в лидирующих реабилитационных центрах-клиниках США и ЕС на базе технологий дорожной карты, развитие специальных программ поддержки сертификации медицинских изделий на рынках ЕС, США, Китая, Южной Кореи, Японии с субсидированием сертификационных мероприятий, организация проектного офиса по международным медицинским проектам с применением AR/VR-технологий, создание тестированных лабораторий для верификации методик и технологий в медицине и в промышленности, создание корпоративных центров исследований и компетенций при передовых промышленных, строительных и других компаниях совместно с ведущими российскими университетами.
По итогам реализации мероприятий дорожной карты точность позиционирования универсальной системы требника в реальном времени при задержке 10 мс на автономном модуле увеличится с 4 мм в 2019 г. до менее чем 0,5 мм в 2024 г. За этот же период количество специализированных систем трекинга увеличится с одной до пяти. Также будет полностью разработан стандарт SDK универсальной инфраструктуры позиционного трекинга (сейчас он готов лишь на 10%).
| Субтехнология | Технологическая компонента | Отечественное решение | Стадия готовности | Зарубежное решение | Стадия готовности | Сравнительный анализ отечественного решения с зарубежным |
|---|---|---|---|---|---|---|
| Технологии графического вывода | Волновод для AR | ФПИ | TRL — 4 | Hololense | TRL — 9 | Отстает от мировых аналогов. Низкий потенциал тиражирования для универсальных устройств, высокий потенциал тиражирования для нишевых специализированных решений в случае верификации на локальном рынке с лидером международного уровня |
| Eye tracker (окулограф) | Total Vision | TRL — 4 | Tobii | TRL — 9 | Несущественно отстает от мировых аналогов. За счет нишевого применения (медицина) и универсальной базовой архитектуры имеет все шансы через нишевой кейс выйти на глобальный рынок и далее заявить универсальное устройство | |
| Программно-аппаратные технологии захвата движения и фотограмметрии | Инфраструктура трекинга: универсальная автономная модульная система трекинга | Antilatency | TRL — 8 | OptiTrack | TRL — 9 | На уровне мировых аналогов, обладает универсальной гибкой архитектурой. Основной вызов — создание удобного middleware для разработчиков и активное продвижение на рынок в тесной связке с сообществами разработчиков. Задача — стать отраслевым стандартом простого и удобного для интеграции, доступного по цене (дешевле прямых конкурентов) трекинга |
| Автономный модуль безмаркерного трекинга | Diaram | TRL — 3 | ARKit | TRL — 9 | Отстает от мировых аналогов. Потенциал тиражирования за счет ориентации на универсальную архитектуру в отличие от прямых конкурентов и лидеров. Стратегия — стать стандартом для устройств за периметром экосистемы Apple и Google, в т.ч. на азиатских рынках | |
| Компактный 3D-сканер | Calibri 3D | TRL — 6 | Shining3d | TRL — 9 | Несущественно отстает от мировых аналогов. Стратегия — за счет технологического ноу-хау удешевить элементную базу и само устройство. Сделать универсальный сканер для широкого круга задач по доступной цене | |
| Системы трекинга рук | TauTracker | TRL — 6 | Leap Motion | TRL — 9 | Отстает от мировых аналогов. За счет нишевого применения (медицина или промышленность) и универсальной базовой архитектуры имеет все шансы через нишевой кейс выйти на глобальный рынок и далее заявить универсальное устройство | |
| Интерфейсы обратной связи и сенсоры | Встроенный в ткань модуль электромиостимуляции и электрической стимуляции мышц | Решения нет. Наиболее близкий технологический задел — ДВФУ | TRL — 3 | Teslasuit | TRL — 7 | Несущественно отстает от мировых аналогов. За счет несущественного разрыва в TRL возможно создание решений практически «с нуля». Лидерство целесообразно как в рамках отраслевых кейсов, так и для универсальных сфер применения. Ключевым фактором будут являться: универсальная архитектура и сертификация для применения |
| Встренный в ткань модуль биометрического сбора данных | Решения нет. Наиболее близкий технологический задел — ДВФУ | TRL — 3 | Teslasuit | TRL — 4 | Несущественно отстает от мировых аналогов. За счет несущественного разрыва в TRL возможно создание решений практически «с нуля». Лидерство целесообразно как в рамках отраслевых кейсов, так и для универсальных сфер применения. Ключевым фактором будут являться: универсальная архитектура и сертификация для применения | |
| Технологии передачи данных | Протокол передачи данных | DVR | TRL — 3 | WiGig | TRL — 8 | Отстает от мировых аналогов. Для достижения лидерства целесообразно сфокусироваться на разработке ПО, т.к. для физического уровня (hardware) практически отсутствуют заделы. В связи с чем оптимальной стратегией станет поиск специализированных кейсов применения и доказательств эффективности протокола |
| Средства разработки и технологии совершенствования пользовательского опыта (UX) со стороны разработчика | Альтернативный формат представления 3D-данных (аналитический формат) | WebGears | TRL — 5 | Autodesk A360? но не является новым форматом. | TRL — 9 | Несущественно отстает от мировых аналогов. Для достижения лидерства целесообразно сфокусироваться на разработке ПО, т.к. для физического уровня (hardware) практически отсутствуют заделы. В связи с чем оптимальной стратегией станет поиск специализированных кейсов применения и доказательств эффективности протокола. На следующем этапе рекомендовано совместно со стратегическим партнером воплотить алгоритмы на базе универсального чипа для оптимизации аналитического кодирования\декодирования |
| Cистема захвата и переноса мимики человека на 3D-персонажа в реальном времени | CGF Nimble | TRL — 6 | Dynamixyz | TRL — 9 | Несущественно отстает от мировых аналогов. Основной вызов — создание удобного middleware для разработчиков и активное продвижение на рынок в тесной связке с сообществами разработчиков. Задача — стать отраслевым стандартом простого и удобного для интеграции, доступного по цене (дешевле прямых конкурентов) трекинга | |
| Графические движки | Unigine | TRL — 9 | Unreal Engine Unity | TRL — 9 | Несущественно отстает от мировых аналогов. За счет несущественного разрыва в TRL возможно создание решений практически «с нуля». Лидерство целесообразно как в рамках отраслевых кейсов, так и для универсальных сфер применения. Ключевым фактором будет являться универсальная архитектура | |
| Технология генерации высокодетализированных VR-пространств | Логос, GeoScan | TRL — 8 | Trimble UAS | TRL — 9 | На уровне мировых аналогов. Решения подобного класса традиционно внедряются на длинном цикле продаж. Для достижения лидерства и высокого экспортного потенциала целесообразно сменить бизнес-модель на сервисную | |
| Платформенные решения для пользователей, включая дистрибуцию и универсальные пользовательские редакторы | Конструктор, универсальный пользовательский редактор | Varwin | TRL — 6 | Sumerian | TRL — 7 | Несущественно отстает от мировых аналогов. За счет несущественного разрыва в TRL возможно создание решений практически «с нуля». Лидерство целесообразно как в рамках отраслевых кейсов, так и для универсальных сфер применения. Ключевым фактором будет являться универсальная архитектура |
| Библиотеки шаблонов и объектов | Varwin | TRL — 3 | Sumerian | TRL — 5 | Отстает от мировых аналогов. Технологически — это простые решения, но с точки зрения наполнения — это отдельный вызов. Решать задачу получения лидерства по размеру и качеству библиотеке возможно нетехнологическим способами, например созданием льготных условий для переноса существующих курсов на платформу вместе со всей базой элементов | |
| Инструменты доставки контента (Distribution) | Решения нет. Наиболее близкий технологический задел — Fibrum Desirium | TRL — 3 | Выделенног о решения нет, косвенный конкурент исполняющ ий этуфункцию: Steam VR, Oculus Store | TRL — 9 | Несущественно отстает от мировых аналогов. За счет несущественного разрыва в TRL возможно создание решений практически «с нуля». Лидерство целесообразно как в рамках отраслевых кейсов, так и для универсальных сфер применения. Ключевым фактором будет являться универсальная архитектура | |
| Прикладные технологии для промышленности | Гибридная система трекинга | Решения нет. Наиболее близкий технологический задел — у Antilatency, ДВФУ, Diaram | TRL — 4 | Решения нет.Наиболее близкий технологиче ский задел у Optitrack, Vicon | TRL — 5 | Несущественно отстает от мировых аналогов. Основной вызов — создание удобного middleware для разработчиков и активное продвижение на рынок в тесной связке с сообществами разработчиков. Задача — стать отраслевым стандартом простого и удобного для интеграции, доступного по цене (дешевле прямых конкурентов) трекинга |
| Конвертер САПР-форматов и\или система визуализации | VR Concept | TRL — 7 | EON Reality | TRL — 9 | Несущественно отстает от мировых аналогов. Стратегия тиражирования затруднена в связи с физической удаленностью передовых машиностроительных компаний. Целесообразно реализовать масштабирование на локальном рынке на базе международных промышленных лидеров | |
| Специализированный шлем VR | Deus | TRL — 4 | Varjo | TRL — 6 | Отстает от мировых аналогов. Низкий потенциал тиражирования для универсальных устройств, высокий потенциал тиражирования для нишевых специализированных решений в случае верификации на локальном рынке с лидером международного уровня | |
| Специализированная AR-гарнитура | Решения нет. Наиболее близкий технологический задел — ФПИ | TRL — 3 | Microsoft Hololense 2 | TRL — 9 | Отстает от мировых аналогов. Низкий потенциал тиражирования для универсальных устройств, высокий потенциал тиражирования для нишевых специализированных решений в случае верификации на локальном рынке с лидером международного уровня | |
| Распознавание 3D-объектов в реальном времени | Решения нет. Наиболее близкий технологический задел — ФПИ | TRL — 3 | В заданных требованиях задача не решена, но наибольший задел у Vuforia | TRL — 7 | Несущественно отстает от мировых аналогов. Низкий потенциал тиражирования для универсальных устройств, высокий потенциал тиражирования для нишевых специализированных решений в случае верификации на локальном рынке с лидером международного уровня | |
| Варифокальная оптическая система | Решения нет. Наиболее близкий технологический задел — Ростех | TRL — 2 | Oculus | TRL — 4 | Несущественно отстает от мировых аналогов. Высокий потенциал тиражирования как для универсальных устройств, так и для нишевых специализированных решений. В случае верификации на локальном рынке с лидером международного уровня появится возможность создать уникальный продукт, лидирующий на международном рынке | |
| Образование | Маркетплейс — система дистрибуции образовательного VR/AR-контента | Готовых решений нет. Есть перспективные заделы у STEM, Центр НТИ, ДВФУ, MELscience, Modum Lab, Desirium (Fibrum) | TRL — 3 | На рынке нет готовых решений в сфере образования. Косвенные конкуренты:Zspace, Vrchat, Hologate | TRL — 4 | |
| Платформа для создания образовательного VR/AR-контента | iVariant/Varwin, EV Toolbox, UniVRsity | TRL — 6 | Amazon Sumerian, BrioVR, ENGAGE,Visible, SecondLife, High Fidelity | TRL — 4 | ||
| Платформа для специализированных отраслевых VR/AR-тренажеров (тактические симуляторы, тренажеры инцидентов) | ISP (ModumLab), VR Professionals, hrvr.Academy, Логос, FSA, Визитек | TRL — 8 | EONReality, Virtalis, Sentient Computing, Industrial Training International, School of Mining Engineering UNSW | TRL — 8 | ||
| Платформа для коммуникационных тренажеров | Skill Hub VR, ISP (ModumLab), VR Professionals | TRL — 8 | Mursion, VRLively | TRL — 8 | ||
| Единая библиотека 3D-объектов и окружения | Modum Lab, iVariant/Varwin, VR Concept, Логос | TRL — 6 | Visible, ENGAGE,BrioVR, Amazon Sumerian, Sentient Computing | TRL — 8 |
Интерфейсы обратной связи и сенсоры для VR/AR
Четвертая субтехнология — это интерфейсы обратной связи и сенсоры для VR/AR. Данная субтехнология состоит из средств взаимодействия пользователя с виртуальным миром, передающих реакцию обратно к пользователю через устройства вывода в режиме реального времени.
В мире уровень технологической готовности находится на отметке TRL-7, в России — TRL-6. Мировой рынок соответствующих решений в 2019 г. составил $6,3 млрд. К 2024 г. он вырастет до $22,4-40 млрд.
Проблемой для развития данной субтехнологии является тот факт, что существующие системы обратной связи не позволяют создавать эффект погружения, достаточный для симуляций тактильной обратной связи. Это, в свою очередь, является существенным ограничением для медицины и образования. Более того, для медицинского применения и верификации образовательных методик необходимо знать набор биометрических показателей с погружаемого пользователя.
Успешными зарубежными решения в данной субтехнологии являются специализированный контролер с обратной связи для реалистичности тактических симуляторов Striker VR, костюм со встроенной системой электрической симуляции мышц и биометрическими сенсорами Teslasuit, перчатки с обратной связью haptX, Captoglove, универсальная 6dof-платформа для пользователя MMone и универсальная 3dof-платформа FellThree.
Дорожная карта предполагает следующие мероприятия: разработку прототипа системы обратной связи — миостимуляции со сбором биометрических данных, вместе с тестированием системы и формированием оптимальных параметров конфигурации для симуляции обратной связи; разработку типовых конфигураций для различных симуляторов на базе силовых элементов; разработку драйверов и SDK для управления системой в рамках симуляций; проведение исследований относительно симуляции органов чувств человека, выявление наиболее перспективных; реализацию принципиально новых способов симуляций органов чувств (например, вкус, запах, проприоцепция, вестибулярный и др.) на уровне работающих прототипов.
Сейчас принцип системы обратной связи в данной субтехнологии реализуется путем виброотдачи без биометрических данных. По итогам реализации мероприятий дорожной карты к 2021 г. он будет реализован за счет миостимуляции без сбора биометрических данных, к 2024 г. за счет миостимуляции со сбором биометрических данных.
Количество степеней свободы универсальной платформы обратной связи сейчас составляет 3D, к 2021 г. оно увеличится до 5D, к 2024 г. увеличится до 6D. Количество органов чувств, симулируемых в VR/AR, увеличится с трех в 2019 г. до пяти в 2024 г.
Технология графического вывода
Следующая субтехнология — это технологии графического вывода. Она состоит из периферийных устройств (очков, шлемов) и низкоуровневого ПО, преобразующего результаты обработки цифровых машинных кодов в форму, удобную для восприятия человеком или пригодную для воздействия на исполнительные органы объекта управления.
В мире уровень готовности соответствующих технологий находится на максимальной (девятой) отметке. В России он отстает и находится на отметке TRL-7. Мировой рынок соответствующих решений в 2019 г. составил $9,5 млрд, к 2024 г. он вырастет до $12-17,8 млрд.
Примерами развитых зарубежных решений в данной субтехнологии являются шлемы Oculus Rift/Rift S (поддерживает угол обзора 100 градусов), его портативная версия Oculus Quest, HTC Vive/Vive Pro, Pimax, Deepoon — DPVR, Pico G2, Vavle Index, Microsoft Hololense, Project North Star и Sony Playstation VR.
Существующие решения графического вывода (VR-шлем) существенно ограничены по времени пребывания в симуляции (менее 1 часа), качеству изображения (эффект москитной сетки), комфорту восприятия 3D-объектов с помощью варифокальности. А применение существующих AR-гарнитур в специализированных отраслевых сферах практически невозможно.
Дорожная карта предполагает следующие мероприятия: разработку оптической системы создания гарнитуры с высоким разрешением; разработку программно-аппаратного комплекса, оптимизирующего процесс рендеринга для высокого разрешения; адаптацию системы для работы в экосистеме Linux (Astra Linux); создание пилотного проекта на базе гибрида варифокальной системы и системы с высоким разрешением; разработку моделей на базе гибрида строгой логики и нейросетей при формировании графических эффектов и реакций объектов, материалов, освещений; разработку моделей на базе гибрида строгой логики и нейросетей при формировании физических эффектов и реакций объектов, материалов, освещений; разработку прототипа системы трекинга взгляда и проведение ее тестирования.
По итогам дорожной карты разрешение VR/AR-гарнитуры увеличится с нынешних 615 пикселей на дюйм до 3 тыс. пикселей на дюйм. В настоящее время в данной субтехнологии используется монофокальная система визуализации. К 2021 г. появится прототип варифокальной системы визуализации, а к 2024 г. заработает рабочая версия варифокальной системы визуализации.
Уровень окружения в настоящее время является линейным. К 2021 г. будет доступно интеллектуальное графическое окружение, к 2024 г. — интеллектуальное графическое и физическое окружение. Точность измерений окулографа при частоте 1 тыс. Гц при задержке 1 мс и при энергопотреблении 50 мв изменится с 10 угловых минут в 2019 г. до 2 угловых минут в 2024 г.
Технология оптимизации передачи данных
Заключительная субтехнология — это технологии оптимизации передачи данных для VR/AR. Она состоит из совокупности средств, методов и способов, служащих для передачи информации. Уровень готовности соответствующих технологий в мире находится на максимальной — девятой отметке.
В России уровень готовности технологий значительно отстает и находится лишь на отметке TRL-5. Мировой рынок соответствующих решений в 2019 г. составил $500 млн, к 2024 г. он вырастет до $1-3 млрд.
В данной субтехнологии успешными зарубежными разработками являются беспроводные интерфейсы передачи данных для шлемов виртуальной реальности, заменяющие проводной соединение шлем-компьютер, TPCast Wireless Adapter и HTC Vive Wireless Adapter. Также к числу успешных разработок относится ПО RiftCat/Trinus, реализующее оптимизированный протокол двухсторонней передачи данных для VR.
Существующие средства связи и протоколы передачи данных не смогут обеспечить задержку ниже необходимой для комфортного пребывания в VR/AR-симуляции (менее 20 мс), даже на стандартном full HD-разрешении.
Дорожная карта предполагает разработку оптимизированного протокола передачи данных для VR/AR специфичных задач, тестирование протокола на базе сетей Wi-Fi, сетей 4G и 5G, разработку ПО — SDK для интеграции протокола в существующие системы, пилотные интеграция в AR- и VR-гарнитуры.
В России по результатам реализации мероприятий дорожной карты эхотест при проверке качества передачи данных при канале 50 Мбит/с снизится с 50-100 мс в 2019 г. до 20 мс в 2024 г. через сети Wi-Fi и 5G.
| Субтехнология | Компонент | TRL оценка уровня готовности отечественного решения | TRL оценка уровня готовности зарубежного аналога |
|---|---|---|---|
| Технологии графического вывода | Рассматриваем как комплексное автономное AR/VR-специфичное решение | TRL-7 | TRL-9 |
| Программно-аппаратные технологии захвата движения и фотограмметрии | Рассматриваем как комплексное автономное AR/VR-специфичное решение | TRL-8 | TRL-9 |
| Интерфейсы обратной связи и сенсоры | Рассматриваем как комплексное автономное AR/VR-специфичное решение | TRL-6 | TRL-7 |
| Технологии передачи данных | Рассматриваем как комплексное автономное AR/VR-специфичное решение | TRL-5 | TRL-9 |
| Средства разработки и технологии совершенствования пользовательского опыта (UX) со стороны разработчика | Рассматриваем как комплексное автономное AR/VR-специфичное решение | TRL-5 | TRL-9 |
| Платформенные решения для пользователей, включая дистрибуцию и универсальные пользовательские редакторы | Рассматриваем как комплексное автономное AR/VR-специфичное решение | TRL-5 | TRL-8 |
| Прикладные технологии для образования | Корпоративные VR/AR-тренажеры (hard skills) | TRL-7 | TRL-8 |
| YR-тренажеры для отработки коммуникативных навыков (soft skills) | TRL-7 | TRL-8 | |
| Платформа для создания образовательного VR/AR-контента | TRL-5 | TRL-8 | |
| Маркетплейс образовательного VR/AR-контента с программой поиска, доработки и доставки образовательного контента в образовательные учреждения и для широкого круга потребителей | TRL-3 | TRL-5 | |
| Прикладные технологии для промышленности | Проектирование и приемка макетов в VR/AR | TRL-7 | TRL-5 |
| Строительство, введение в эксплуатацию, вывод из эксплуатации объектов | TRL-7 | TRL-8 | |
| Эксплуатация и сопровождение | TRL-7 | TRL-8 | |
| Применение VR-симуляторов в обучении инженеров | TRL-8 | ||
| «Full flight» симуляторы и производственные тренажеры | TRL-9 | TRL-9 | |
| Прикладные технологии для медицины | Применение VR-симуляторов в обучении хирургов | TRL-5 | TRL-7 |
| Применение VR в области обучения и аккредитации медицинского персонала в медицинских вузах | TRL-5 | TRL-8 | |
| Применение VR в области нейрореабилитации, психореабилитации и психотерапии | TRL-8 | TRL-9 | |
| Применение AR/VR во время подготовки к хирургическим операциям | TRL-2 | TRL-6 | |
| Применение AR во время проведения хирургических операций | TRL-2 | TRL-6 |
Применение VR/AR в корпоративной и промышленной среде
Применение VR/AR-технологий даст широкую отдачу в различных секторах экономики, считают авторы дорожной карты. В промышленности данные технологии позволят сформировать универсальные мировые стандарты для строительной и нефтегазовой отраслей, машиностроения, промышленности и др.
При этом могут быть достигнуты следующие результаты: сокращение затрат на обслуживание оборудования, сокращение числа ошибок и простоев до 30%; увеличение эффективности работы с инженерными 3D-моделями, автоматическая конвертация САПР-моделей в VR/AR, сокращение срока проектирования на 30-50%, сокращение срока согласования и строительства объектов на 7-30%.
В корпоративной сфере применение VR/AR-технологий способно обеспечить создание эффективной системы корпоративного обучения, внедрение тактических симуляторов с VR-технологиями для отработки навыков работы с оборудованием, в том числе — обслуживания и управления сложными аппаратами, а также отработки навыков при охране труда и промышленной безопасности.
Объем рынка промышленного VR с $1 млрд в 2018 г. увеличится до $12,6 млрд в 2025 г., рынок корпоративного AR с $720 млн в 2016 г. увеличится до $30 млрд в 2025 г. Лидерами на мировом рынке соответствующих решений являются продукты компаний PTC (Vuforia), Dassault (Caria+TechViz, Solidworks, 3DEXPERIENCE platform), Siemens (PLM Team Center Visualisation) и Autodesk (Revit, 3DS Max, Forge).
Также отмечаются: платформа для телеконференций в VR от компании Improov3, платформа дополненной реальности для повышения эффективности процессов технического обслуживания и ремонта Re’flekt, решение для сопровождения эксплуатации инженерных объектов в дополненной реальности Fieldbit, плагины к популярным редакторам трехмерной графики Inglobe Technologies, платформа визуализации с эффектом присутствия для промышленных и судостроительных заводов Aveva AVP, платформа для визуализации в VR для кросс-функциональных команд, включая инженеров в задачах проектирования и виртуального прототипирования IC.IDO и виртуальные тренажеры для обучения работы с кранами и строительной техникой Industrial Training International.
VR/AR в образовании
В образовательном сегменте внедрение соответствующих технологий в части создания доступных инструментов для пользователей и дополнения интерактивным визуальным VR/AR-контентом может привести к повышению эффективности онлайн-обучения, обеспечению непрерывного профессионального образования и обеспечению доступности качественного образования в регионах. При развитии маркетплейса образовательных проектов возможно достижение российскими разработчиками доли в 15% мирового рынка VR-образования.
Объем рынка VR/AR-образования к 2020 г. оценивается в $30 млн, к 2025 г. он резко вырастет — до $700 млн. Объем рынка ПО в части охраны и пожарной безопасности с $3 млрд в 2015 г. вырастет до $8,3 млрд в 2024 г.
Примерами платформ для VR/AR-тренажеров являются: программно-аппаратный комплекс для работы с трехмерным изображением для создания обучающих VR/AR-уроков для тренеров EON Reality и ПО для создания образовательных комплектов Virtalis.
Тренажерами для рынка охраны труда являются Sentient Computing (отработка навыков и правил безопасной работы с электроустановками), Industrial Training International (отработка навыков и правил безопасной работы строительной техники) и School of Mining Engineering (отработка навыков и безопасной работы в шахтах). Также отмечается ПО Murison — виртуальная среда, в которой проводятся тренировки поведения в сложных межличностных ситуациях.
Платформами для создания образовательного VR/AR-контента являются Amazon Sumerian, BrivoVR, Engage, Visible, The AVR Platform от EON Reality (состоит из трех отдельных продуктов — Creator AVR, Virtual trainer и AR Assist), SecondLife, VRLively, Vrchat и High Fidelity. Маркетплейсами для образовательного VR/AR-контента являются Zspace и Hologate.
VR/AR в медицине — виртуальный хирург
В сфере здравоохранения Россия может войти в международную повестку с прорывными системами реабилитации пациентов с повреждениями опорно-двигательного аппарата, восстановления после инсульта, борьбы с фобиями и высокоточной диагностики глазных заболеваний. При этом возможно достигнуть снижения числа инвалидов среди работоспособного населения на 7% при реабилитации с помощью VR/AR.
Специализированное обучение врачей, обеспечение непрерывного медицинского образования и система удаленного присутствия врача, например, хирурга на операции, позволит уменьшить число врачебных ошибок на 50-80% у прошедших обучение с применением технологий VR/AR. Таким образом, VR/AR будет способствовать повышению качества медицинского обслуживания, в том числе в отдаленных регионах страны, и обеспечению максимальной работоспособности населения.
Развитие направления пользовательского применения VR/AR позволит сформировать сервисы для социально важных сфер, например, работы с инвалидами (навигация с дополненной реальностью для слабовидящих), развитие культурной составляющей (навигации и экскурсии по городам, музеям). В результате, это будет способствовать повышению имиджа России как привлекательной для туристов страны, увеличению посещаемости объектов культуры с привлечением молодежной аудитории.
К 2023 г. объем рынка VR/AR-технологий в здравоохранении достигнет $5 млрд (в 2019 г. он составит $770 млн). VR-симуляторами в хирургии являются продукты компаний 3D Systems (Simbionix) и Osso VR. Платформой AR/VR для подготовки врачей к хирургическим операциям является True 3D от EchoPixel. Непосредственно во время хирургических операций может использоваться дисплей AR для позвоночника Xvision от компании Augmedics.
Платформа SimforHealth является клиническим и диагностическим симулятором для врачей и медицинского персонала. VR-платформами в области нейрореабилитации, психореабилитации и психотерапии являются Caren и OnComfort.
Перспективы рынка VR/AR в России
В результате Россия в перспективе четырех-пяти лет имеет потенциал стать заметным игроком на международной рынке VR/AR-решений и занять более 15% мирового рынка VR/AR-технологий. Как минимум три российские компании к 2024 г. смогут занять 30% одного из приоритетных регионов. Как максимум, российские технологии будут задавать отраслевые стандарты в мире, особенно в направлениях промышленности, медицины и образования.
Экономический эффект (валовая добавленная стоимость, ВДС) от внедрения технологий VR/AR в России к 2024 г. составит от p40 млрд до p316 млрд. В том числе в области производства оборудования ВДС составит от p25 до p184 млрд, в области ПО — от p15 до p133 млрд.
Развитие VR/AR-технологий окажет также влияние на место России в международных рейтингах цифровизации и на повышение итоговой позиции страны: на 56,8% позиции в Глобальном индексе инноваций рейтинга Индекса глобальной конкурентоспособности, на 8,1% позиции в Индексе человеческого капитала, на 74,3% позиции в Индексе инновационного развития Bloomberg и на одну-две ступени в Индексе цифровой конкурентоспособности.
Риски и трудности при внедрении VR/AR
К числу рисков для развития VR/AR-технологий относятся возможные проблемы с привлечением финансирования на развитие технологических проектов в связи с долгим выходом на рынок: темп роста составляет менее 10 раз в год, то есть не относится к венчурной модели роста. Другими рисками являются: закрытость внутренний сетей связи на промышленных предприятиях по нормативам безопасности; долгий процесс согласования пилотных проектов для внедрения в государственных корпорациях и промышленных предприятиях; нехватка VR/AR-контента в потребительских и профильных сферах; отсутствие производимых в России матриц и оптических систем (волноводов), достаточных для создания VR/AR-устройств российского производства; отсутствие отечественных отраслевых стандартов систем проектирования (САПР) и универсальных VR/AR-устройств.
В сфере образования и обучения персонала образовался «огромный разрыв» между пользователями и разработчиками образовательных продуктов в VR/AR. В «классическом» онлайн-образовании этот разрыв заполнили лидирующие маркетплейсы образовательных курсов, но для инновационных продуктов в VR/AR такие маркетплейсы не подходят в силу технологических особенностей и продуктов.
Разрыв образовался ввиду того, что разработчики, владеющие стеком игровой разработки, стали создавать простые образовательные материалы. Это привело к созданию достаточно большого числа образовательных курсов для VR с разным качеством графики, моделирования и педагогической ценности, указано в дорожной карте. При этом разработчики интегрируют свои решения строго на локальных рынках, а в домохозяйствах и образовательных учреждениях наблюдается низкое проникновение VR-оборудования.
В промышленности основные трудности при внедрении VR/AR связаны с наличием уже инсталлированных и успешно применяемых на предприятии базовых технологий формирования вспомогательных информационных элементов. Например, чтобы совместить в видеопотоке изображение объекта с его трехмерной моделью, необходима собственно 3D-модель изделия, а чтобы показать температуру узла, нужно иметь уже работающие технологии интернета вещей. Именно поэтому для одних предприятий дополненная реальность экономически эффективна уже сегодня, а другим придется проводить довольно долгую работу над ошибками, считают авторы дорожной карты.
| Субтехнология | Потребность отечественных компаний и организаций | Отечественное решение / зарубежное решение | Описание приведенных решений, уровень их развития, технологической готовности, показатели эффективности |
|---|---|---|---|
| Прикладные технологии для промышленности | Интеллектуальная технология контроля ручных операций при сборке, техническом обслуживании и ремонте машиностроительных изделий | Hologroup, Itorum MR, ФПИ | Программное решение для сопровождения технологических операций в AR. TRL — 6 |
| PTC Vuforia, Re’flekt | Программное решение для сопровождения технологических операций в AR. TRL — 9 (в данном кейсе применения обладает рядом ограничений, сводимых до TRL — 7) | ||
| Система визуализации макетов и инженерных объектов | VR Concept | Программное обеспечение позволяет визуализировать САПР-данные и работать с виртуальными макетами в любых системах виртуальной реальности, будь то шлем или профессиональная проекционная система типа CAVE (комната виртуальной реальности). TRL — 7 | |
| Siemens PLM Team Center Visualisation | В рамках решения реализован модуль визуализации в VR. TRL — 9 | ||
| Шлем дополненной реальности с сертификацией для использования во взрывоопасных производственных зонах | Система дополненной реальности — оптический элемент (ФПИ) | Оптическая система для создания голограмм. Может быть использована в качестве базового элемента шлема дополненной реальности, т.е. создания голограмм. На стадии разработки, демонстрационный прототип. TRL — 3 | |
| Система для оптимизации промышленных процессов сборки изделий, сервисного обслуживания, ремонта | Решения AR для сервисного обслуживания и для сборки и электромонтажа от GeneralVR | Решения AR для сервисного обслуживания позволяют сервисному персоналу при выполнении операций иметь перед собой в виде анимированной голограммы четкое и понятное описание процесса обслуживания конкретной единицы техники с учетом ее эксплуатационного состава. Решения AR для сборки и электромонтажа строятся с использованием разработанных на предприятии 3D-моделей техники в полном соответствии с утвержденной технологической документацией по соответствующим технологическим процессам. Решения являются комплексными и интегрируются с существующей ИТ-архитектурой предприятия, а именно — с CAx/PDM/MES-решениями PLM-контура. TRL — 5 | |
| Система оптимизации использования 3D-макетов и цифровых двойников изделия в производственных процессах | BrioMRS | Программно-аппаратный комплекс. В аппаратной части проект представлен очками виртуальной реальности, датчиком глубины и тактильными перчатками. Аппаратная часть позволяет пользователю получать доступ к 3D-модели объекта строительства, совмещенной с реальным изображением, что дает увеличение эффективности использования всех доступных визуальных возможностей технологии BIM: просмотр и изменение параметров объекта «на ходу», совмещение 3D-модели с реально существующей реализацией. TRL — 6 | |
| AVEVA AVP | Платформа визуализации-симуляции с эффектом присутствия для промышленных и судостроительных заводов и энергетической отрасли. TRL — 9 | ||
| Разработка и использование наглядных интерактивных инструкций для работников сборочного производства, снижение требований к квалификации рабочего персонала | Itorum MR | Компания разрабатывает услуги и сервисы для промышленности на основе VR/AR-технологий: виртуальный тренажер позволяет сформировать у обучаемого понимание порядка выполнения операций, понять фактические размеры изделия и получить представление об инструментах и принадлежностях, используемых в процессе выполнения операций. Комплекс информационной поддержки позволяет сократить вероятность отказа по вине специалистов производственных и сервисных подразделений предприятий за счет указания пользователю точного порядка выполнения технологических операций. TRL — 7 | |
| Fieldbit | Сопровождение эксплуатации инженерных объектов (ТОиР) в дополненной реальности. Компания работает на рынках машиностроения, медицинского оборудования, оборудования для печати. TRL — 7 | ||
| Прикладные технологии для образования | Аналитические решения, позволяющие делать комплексный анализ поведения человека в VR | Платформа STEM | Программно-аппаратный комплекс и платформа образовательного VR-контента виртуальной лаборатории по химии с использованием VR-технологии, предназначенной для дополнения функционала и возможностей школьной лаборатории по химии. Предусмотрена система отслеживания действий каждого пользователя, а также создания учителем новых лабораторных работ без привлечения ИТ-специалиста. Разработан комплекс методических материалов преподавания. Направлено на использование для школьного и средне-специального образования. TRL — 6. Центр НТИ ДВФУ по VR/AR |
| Платформа ISP | Платформа ISP. Платформенное решение для создания и внедрения тренажеров hard skills и soft skills с функционалом сетевого взаимодействия, аналитики поведенческих данных, распознавания и анализа речи, библиотеки объектов и др. Платформа имеет открытый SDK. Внедрения в компаниях: BIOCAD, Сбербанк, ГазпромНефть. TRL — 7 | ||
| Иммерсивные формы обучения, максимально воспроизводящих реальные ситуации в работе с клиентами | Платформа VR Professionals | Программно-аппаратный комплекс для работы с трехмерным изображением для создания обучающих VR/AR-уроков для тренеров. Для отработки навыков работы со сложными процедурами, имеет систему аналитики поведения. TRL — 8 | |
| EON Reality | Платформенное решение для тренажеров для hard skills и soft skills для рабочих кадров промышленных компаний. Работает «из коробки», имеет открытый SDK. Функционал универсальный и подходит заказчикам различных сфер. TRL — 7 | ||
| FSA | Специализированное программное обеспечение для обучения и тренингов сотрудников правоохранительных органов и студентов юридических специальностей. Редактор VR-контента и VR-симулятор (тренажер) для практического обучения. Позволяет реализовать виртуальное ситуационное моделирование и обучение в ультрареалистичной среде с полным погружением. TRL — 6 | ||
| Платформа iVariant Varwin | Инструментарий для создания/изменения контента для образовательных продуктов с технологией виртуальной реальности («power point» для иммерсивных материалов и уроков), доступная для использования учителем. TRL — 6 | ||
| Платформа UniVRsity | Платформа для создания онлайн- курсов с применением VR/AR- технологий, позволяющая пользователю собрать обучающий курс с элементами VR/AR без специальных навыков программирования. Платформа является открытой, содержит конструкторы сценариев, реализуется в рамках digital-проекта «Виртуальный университет 4,0». Созданы на платформе онлайн-курс «История и технологии выживания», VR-занятие «Изучение строения кожи». TRL — 6. Томский госуниверситет | ||
| Mursion | Виртуальная среда, в которой проводятся тренировки поведения в сложных межличностных ситуациях. Искусственный интеллект в VR- тренировке моделирует человеческое поведение в необходимых пределах и помогает тренировать навыки решения проблем в преподавании и обучении. TRL — 8 | ||
| Системы корпоративного обучения по повышению квалификации и навыков сотрудников | Skill Hub VR | Платформенное решение для VR- тренажеров коммуникационных навыков (soft skills) с диалоговыми симуляциями. TRL — 7 | |
| Логос | Платформенное решение для разработки симуляторов для спец.техники, в том числе для техники двойного назначения (hard skills). TRL — 9 | ||
| PraxisVR | Учебные тренажеры и симуляторы в виртуальной реальности для отработки навыков (hard/soft skills). TRL — 5 | ||
| Платформа hrvr.Academy | Платформенное решение для обучения сотрудников компания с помощью интерактивных симуляций в виртуальной реальности. Создана полноценная экосистема, состоящая из модульных образовательных симуляций в виртуальной реальности с ИИ-системой предоставления обратной связи по результатам обучения и веб-портала со стандартными функциями LMS. Возможность адаптации сценариев под требования заказчика без участия разработчиков. TRL — 4 | ||
| Virtalis | ПО для создания образовательных комплексов, соединяющее структурированные и неструктурированные данные из нескольких сред (CAD, PLM, MES). Возможность совместного использования общего визуального языка и совместной работы в одной среде для непрерывной разработки, доступ для 4 пользователей. TRL — 8 | ||
| Прикладные технологии для медицины | Применение VR-симуляторов в обучении хирургов | MedVR Lap Expert (MedVR) | Линейка лапароскопических симуляторов MedVR Lap. Симулятор позволяет пройти обучение от базовых навыков владения лапароскопическим инструментарием до сложных операционных вмешательств с применением командного обучения на различных уровнях сложности и моделированием внештатных операционных ситуаций. Две версии симуляторов. MEDVR LAP EXPERT — командный симулятор операционной на основе системы MedVR Atlas. Прототип — стадия TRL — 5, прошел апробацию в СЗГМУ им. Мечникова |
| Офтальмологический симулятор MedVR | Офтальмологический симулятор. В виртуальной среде симулируется физика взаимодействия тканей глаза с инструментами. Смена инструментов происходит в виртуальном окружении. Реальные манипуляторы всегда одни и те же. Возможен режим работы с выводом изображения не в микроскоп, а в виртуальный монитор, расположенный в виртуальной операционной. Сторонний наблюдатель видит, что происходит в виртуальном мире, от лица основного пользователя на мониторе, подключенном к системному блоку. TRL — 3 | ||
| Surgera VR | Surgera VR — это хирургический симулятор, созданный для обучения хирургическим навыкам в игровой форме. В отличие от игр, вроде Surgeon Simulator, разработка самарских врачей и инженеров максимально реалистична. Симулятор позволяет студентам полностью погрузиться в учебный процесс и упрощает закрепление знаний. Сейчас Surgera VR проходит открытое тестирование, команда собирает обратную связь для улучшения приложения и создания новых операций. В ближайшие месяцы планируется дополнить программу остеосинтезом и резекцией остеосаркомы. Новую версию планируется объединить с системой компьютерного планирования и 3D-визуализации «Автоплан». TRL — 4 | ||
| SimforHealth | Клинические и диагностические симуляторы для врачей и медицинского персонала в сотрудничестве с ведущими университетами в мире. TRL — 8 | ||
| Применение VR в области обучения и аккредитации медицинского персонала в медицинских вузах | Система симуляции MedVR Atlas (MedVR) | MedVR Altas. Для взаимодействия с виртуальным миром применяется комплексная технология полного погружения в виртуальную реальность MedVR Atlas. В ней реализована система определения положения в пространстве человека и частей его тела. TRL — 5 | |
| Применение VR в области нейрореабилитации, психореабилитации и психотерапии | Virry Antistress | Реализован кейс VR-опыта в комнатах психологической разгрузки. TRL — 6 | |
| Skoltech | Проект реабилитации детей с расстройствами аутистического спектра (РАС). TRL — 4 | ||
| ГК Русские Инвестиции | Создание комплекса реабилитационных VR-решений для людей с нарушениями когнитивных функций мозга. Решения позволят собирать, обрабатывать и анализировать данные для развития методов ранней диагностики и лечения пациентов с нарушениями когнитивных функций. TRL — 1 | ||
| Enter VR | Разрабатывается платформа комплексной реабилитации пациентов, перенесших инсульт, с погружением в виртуальную реальность. TRL — 1 | ||
| Моторика | Attilan – телереабилитационная платформа, которая включает в себя 3 компоненты: 1. Программный комплекс реабилитации в виртуальной реальности, позволяющий наиболее эффективно обучать пациентов разных возрастов и функциональных способностей жить после травмы и использовать технические средства реабилитации. Использование игрового сценария и доступность технологии позволяет значительно повысить мотивацию, эмоциональный фон пациента и эффективность реабилитации. Комплекс может использоваться как в условиях клиники, так и дома. 2. Программно-аппаратный модуль для ИВ-подключения и сбора реабилитационных данных с любого реабилитационного оборудования. Модуль необходим для анализа активности пользователя и объективного расчета эффективности реабилитационных процедур в течение продолжительного периода реабилитации. 3. Программный комплекс PRM (Patient Rehabilitation Management), задача которого — учет собираемых данных, их визуализация и аналитика, личные кабинеты врача и пациента, реабилитационный маршрут и т.д. TRL — 4 | ||
| Казанский Федеральный Университет | Программно-аппаратное решение представляющие из себя набора биодатчиков, измеряющий ряд параметров (ээг, температура, давления); программное обеспечение для обработки сигналов датчиков и интерпретации в распознавание эмоций; программное обеспечение (игровая среда), которая изменяется под действием полученных пользовательских данных.TRL – 3 | ||
| Rehabunculus | Система Rehabunculus позволяет обеспечить необходимый объем физической активности на каждый день. Система работает автономно и проста в использовании, сейчас внутри программного обеспечения находится более 20 упражнений, направленных на все крупные группы мышц тела, а также на развитие равновесия, увеличение скорости реакции и координации движений. TRL — 8 | ||
| Ростех, ReviVR | ReviVR — погружение пациента в виртуальную среду для выполнения упражнений с применением технологий дополненной реальности, которые способствуют созданию новых связей между нервными клетками мозга. TRL — 8 | ||
| Total Vision, НИИ Глазных болезней, МГУ | На базе шлема Total Vision с учетом полученного опыта тестирования технологического прототипа будет создан первый в мире портативный мобильный анализатор поля зрения для профессионального использования. TRL — 2 | ||
| ДВФУ | Проект по реабилитации пациентов, перенесших инсульт, спинальную травму, пациентов с тяжелыми двигательными нарушениями. TRL — 2 | ||
| Рубиус, СибГМУ (Консорциум НТИ) | Технологии ускоренной реабилитации посредством роботизированной механотерапии верхних и нижних конечностей, применения виртуальной и дополненной реальности, с функцией обратной тактильной, зрительной и аудио связей. TRL — 2 | ||
| CAREN | CAREN — это универсальная мультисенсорная система виртуальной реальности, используемая для лечения и реабилитации человеческих локомоторных функций, а также болей, работа над осанкой и равновесие позвоночника. TRL — 9 | ||
| OnComfort | Компания применяет виртуальную реальность для улучшения психологического состояния у пациентов с диагностированным раком. VR-контент готовит людей к процедурам биопсии, МРТ и химиотерапии, а также помогает снять напряжение и тревогу. TRL — 9 | ||
| Применение AR/VR во время подготовки к хирургическим операциям | EchoPixel | True 3D — это программная платформа, которая позволяет врачам взаимодействовать с анатомией, специфичной для конкретного пациента, используя AR/VR-технологии. TRL — 6 | |
| MedVR Lap Expert | MedVR Lap Expert с системой виртуальной реконструкции уникальных параметров пациента и интеграции их в виртуальную среду, для подготовки к реальной операции. TRL — 2 | ||
| Гаммамед | ПАК СППР для диагностики на основе анализа изображений. TRL — 2 | ||
| Гаммамед | Оптическая медицинская навигационная система для операций в травматологии и нейрохирургии. TRL — 3 | ||
| Применение AR во время проведения хирургических операций | Augmedics | Augmedics — израильский стартап, который собрал около $10 млн для разработки головного дисплея AR для хирургии позвоночника под названием xvision. Система xvision обеспечивает четкую визуализацию и хирургическую навигацию каждого позвонка. Таким образом, он очень полезен при операциях по поводу дегенеративных заболеваний позвоночника, коррекции деформации позвоночника, резекции опухоли и случаев общей травмы позвоночника. TRL — 6 | |
| Autoplan (СамГМУ) | AR в хирургической навигационной системе «Автоплан» предполагает совмещение трехмерной персонифицированной модели органов пациента с реальным объектом во время выполнения оперативного вмешательства для визуализации анатомических ориентиров и планирования действий врача в процессе оперативного вмешательства. Врач-хирург в режиме реального времени может ориентироваться на демонстрацию топографического расположения персонифицированной трехмерной модели органов на пациенте во время операции, как на мониторе, так и в очках дополненной реальности. На основании этой информации наиболее корректно планировать оперативное вмешательство, координировать свои действия во время оперативного вмешательства, в т.ч. контролировать расположении здоровых органов и сосудов в месте оперативного вмешательства для исключения их повреждения. Планирование оперативного доступа существенно сокращает время оперативного вмешательства, снижает риски наступления неблагоприятных последствий. Применение технологии AR в навигационной хирургической системе — уникально, что повышает конкурентные преимущества навигационного комплекса «Автоплан». TRL — 2 |
Как победить китайцев на мировом рынке
В части анализа возможностей выхода на международный рынок авторы дорожной карты предлагают образовательным проектам начинать экспансию со стадии УГТ 4-5, создавая продукты с учетом локальной специфики и локальными партнерами. Продукты в сфере промышленности стоит выводить на международные рынки при УГТ 7-8.
Продукты из любых сфер без явных преимуществ с более низким УГТ, чем у китайских конкурентов, не стоит выводить на зарубежные рынки. В то же время решения из США и Европы со схожим уровнем УГТ могут быть легко проигнорированы в пользу внутренних или партнерских разработок.
На рынки Ближнего Востока рекомендуется выводить продукты с УГТ 4-6 «с масштабным и зрелищным эффектом применения». Для технологий с УГТ 7-9 рекомендовано продвигать, в первую очередь, инфраструктурные и базовые решения с высокими капитальными затратами.
На рынки стран Африки, начиная с 2022 г., необходимо выходить с продуктами с высокой степенью готовности, форсируясь на технологиях для образования и промышленности. Приоритезацию следует делать на решения с низким и средним чеком. Основными конкурентами для отечественных продуктов будут решения из США и стран Европы.
В странах Европы VR/AR-технологии находятся в переломной точке от стадии изучения к стадии активного внедрения. Пройдя пик чрезмерных ожиданий, VR входит в фазу «избавления от иллюзии», говорится в дорожной карте. Планируется, что VR будет окончательно адаптирован через 5 лет, AR — через 10 лет.
Особенностями европейских рынков являются сильная исследовательская школа, большой научный задел и развитая экосистемам. Местные VR-компании сосредоточены на трех направлениях: исследования и разработки, промышленность и контент.
Российским компаниям на европейских рынках следует фокусироваться на технологиях для промышленности, медицины и образования. При этом следует рассмотреть возможность реализации совместных научных проектов и межгосударственных партнерств.
В Корее наблюдается большой интерес к развлекательным VR/AR-проектам, а также широкое применение данных технологий в ритейле. Российским компаниям при выходе на корейский рынок предлагается сфокусироваться на двух обозначенных направлениях, выводя при этом решения с УГТ 4-6 с «масштабным и зрелищным эффектом применения».
| Субтехнология | Описание решения (включая статус разработки, цель) |
|---|---|
| Технологии графического вывода | Волновод AR и специализированные AR гарнитуры, TRL — 3, разработан ранний прототип AR оптического элемента. Цель: создать универсальный оптический модуль для встраивания в специализированные отраслевые кейсы. Трекинг движения глаз, TRL — 4, разработан прототип сенсора и чипа. Цель: через специализированный (медицинский) кейс создать универсальный трекинг глаз для VR/AR |
| Программно-аппаратные технологии захвата движения и фотограмметрии | Инфраструктура трекинга: универсальная автономная модульная система трекинга, TRL — 8, разработана серийная версия универсального модульного трекинга. Цель: создать универсальную инфраструктуру для позиционирования. Системы трекинга рук. TRL — 5, создан дев-кит устройства. Цель: через специализированный отраслевой кейс создать универсальный высокоточный трекинг рук для VR/AR. Система безмаркерного трекинга. TRL — 2, разработаны базовые алгоритмы. Цель: Система SLAM-трекинга, разрабатывается как независимая от платформы альтернатива системам ARkit и ARcore |
| Интерфейсы обратной связи и сенсоры | Встроенный в ткань модуль электромиостимуляции и электрической стимуляции мышц. TRL — 4, разработан базовый прототип с программным обеспечением. Цель: через специализированный (медицинский) кейс создать универсальный модуль для VR/AR. Встроенный в ткань модуль биометрического сбора данных. TRL — 4, разработан базовый прототип с программным обеспечением. Цель: через специализированный (медицинский) кейс создать универсальный модуль для VR/AR |
| Технологии передачи данных | Протокол передачи данных, TRL — 3, разработаны базовые алгоритмы. Цель: протокол стриминга, позволяющий осуществлять рендеринг готового изображения на сервере и транслировать его в реальном времени на мобильный VR-шлем пользователя |
| Средства разработки и технологии совершенствования пользовательского опыта (UX) со стороны разработчика | Альтернативный формат представления 3D-данных (аналитический формат), TRL — 5, разработана первая версия формата, системы рендеринга и редактора. Цель: создать универсальный формат аналитического представления. Cистема захвата и переноса мимики человека на 3D-персонажа в реальном времени. TRL — 6. Цель: разработать интструментарий для создания digital doubles. Графические движки. TRL — 9, полностью готовые решения. Цель: обеспечение технологической безопасности. Через отраслевые кейсы и нишевые проекты в сфере промышленности выйти на международные рынки (Азия и Восток) |
| Платформенные решения для пользователей, включая дистрибуцию и универсальные пользовательские редакторы | Конструктор, универсальный пользовательский редактор, TRL — 6. Цель: воспользоваться малым разрывом готовности технологии и создать российский конструктор, сразу ориентируя его на международный рынок. Инструменты доставки контента (Distribution), TRL — 7. Цель: воспользоваться малым разрывом готовности технологии и создать российский маркетплейс образовательного контента, сразу ориентируя его на международный рынок |
| Прикладные технологии для промышленности | Конвертер САПР-форматов и/или система визуализаци, TRL — 7. Цель: на основании лучших практик передовых российских промышленных предприятий создать релевантный для международного масштабирования референс-кейс. Обеспечить технологическую безопасность и независимость от форматов. Специализированная AR-гарнитура, специализированный шлем VR, TRL — 4. Цель: через специализированный (промышленность) кейс создать решение мирового уровня для VR/AR. Распознавание 3D-объектов в реальном времени, TRL — 3. Совместно с п.2 позволяет обеспечить технологическую безопасность в инструментах сопровождения ТОиР. Варифокальная оптическая система. TRL — 2. Фундаментальная технология, позволяет обеспечить технологическое лидерство |
| Прикладные технологии для образования | Платформа для создания VR/AR-контента. Модули реалистичных персонажей (аватары) и окружения, в т.ч. библиотека шаблонов. Инфраструктура позиционного трекинга, в том числе трекинг больших пространств на присутсивие 10-25 человек одновременно. Специализированные системы трекинга. Универсальный интерфейс обмена данными (конвертер и коннекторы). Система визуализации макетов и инженерных объектов. Распознавание 3D-объектов в реальном времени. Специализированная VR-гарнитура для инженерных задач. Модули реалистичных персонажей (аватары) и окружения. Единая библиотека объектов. Программная платформа дистрибуции (поддержка 80% популярных программных аппаратных решений). Стандарт верификации качества и эффективности образовательного контента |
| Прикладные технологии для медицины | Разработка технологической платформы в области обучения и аккредитации обучающихся и медицинского персонала в медицинских вузах |
| Технологическая платформа на основе AR для поддержки врача во время проведения хирургических операций | |
| Технологическая платформа реабилитации на базе технологий AR/VR |
Сколько нужно средств на развитие VR/AR в России
На реализацию заложенных в дорожную карту мероприятий до 2024 г. потребуется 54,18 млрд. Предполагается, что из этой суммы федеральный бюджет выделит p29,68 млрд, из внебюджетных источников будет взято p24,5 млрд.
Из субтехнологий больше всего потребуется на развитие технологий графического вывода — p17,73 млрд. Из этой суммы федеральному бюджету предлагается выделить p9,23 млрд, внебюджетных — p8,5 млрд.
На развитие технологий захвата движений к VR/AR и фотограмметрии потребуется p15,4 млрд. В том числе федеральному бюджету предлагается выделить p8,5 млрд, внебюджетным источникам — p6,9 млрд.
На развитие средств разработки VR/AR-контента потребуется p6,77 млрд. Из этой суммы федеральному бюджету предлагается выделить p3,77 млрд, внебюджетным источникам — p3 млрд.
На развитие платформенных решений для пользователей потребуется p6,15 млрд, в том числе p3,64 млрд нужно будет выделить федеральному бюджету, p2,5 млрд — внебюджетным источникам.
На развитие интерфейсов обратной связи сенсоров для VR/AR потребуется p4,62 млрд, в том числе федеральному бюджету предлагается выделить p2,62 млрд, внебюджетным источникам — p2 млрд.
Наконец, на развитие технологий оптимизации передачи данных для VR/AR потребуется p3,52 млрд, из которых федеральному бюджету нужно будет выделить p1,92 млрд, внебюджетным источникам — p1,6 млрд.
При разделении затрат по типу мероприятий больше всего средств потребуется на поддержку проектов по цифровому преобразованию приоритетных отраслей экономики — p12,3 млрд (из них федеральный бюджет выделит p8,6 млрд, внебюджетные источники — p3,7 млрд). На поддержку программы деятельности лидирующих инновационных центров (ЛИЦ) нужно p10,4 млрд (федеральный бюджет — p5 млрд, внебюджетные источники — p5,4 млрд).
На поддержку компаний-лидеров предлагается направить p10,18 млрд (p5,18 млрд из федерального бюджета, p5 млрд — из внебюджетных источников), на поддержку региональных проектов — p5,63 млрд (из них p2 млрд даст федеральный бюджет, p3,63 млрд — внебюджетные источники), на предоставление субсидий кредитным организациями — p5,17 млрд (p1 млрд из федерального бюджета, p4,17 млрд из внебюджетных источников), на поддержку промышленных разработок — p700 млн (полностью из федерального бюджета).
Среди мероприятий по стимулированию спроса и предложения значатся: евангелизм и популяризация проектов и прорывных научных исследований и патентов (сумма затрат — p500 млн), поддержка выставочной деятельности и организация системного маркетинга технологий на отраслевых мероприятиях (p1 млрд), акселерационные программы по сбору и адаптации технологических проектов для внедрения в бизнес (p2 млрд), поддержка внедрения пилотных проектов в реальный сектор бизнеса (p3 млрд), стимулирование крупнейших компаний к внедрению решений с VR/AR-разработками (p5 млрд), создание проектных офисов по интеграции решений и формированию единых продуктов «коробочных решений» для рынка (p2 млрд).
В сфере разработок значится создание: комплекса миостимуляции и сбора биометрических данных (p250 млн), инфраструктуры позиционного трекинга (p200 млн), универсального интерфейса обмена данными (p300 млн), специализированной VR-гарнитуры для инженерных и медицинских задач (p300 млн), модуля реалистичных персонажей (аватаров) и окружения (p300 млн), универсальной платформы (6-осевой) для «full fight» симуляторов (p300 млн), модуля распознавания 3D-объектов в реальном времени (p300 млн), универсальной автономной системы трекинга (p300 млн), системы визуализации макетов и инженерных объектов (p500 млн), альтернативных форматов представления 3D-графики (p500 млн), двухслойного оптмизированного протокола для VR/AR (p300 млн), автономного модуля безмаркерного трекинга (p1,5 млрд), модуля AR-гарнитуры для инженерных задач (p6 млрд), специализированной системы трекинга (p1,5 млрд), варифокальной системы визуализации (p2 млрд) и модуля симуляции запаха (p1,5 млрд).
В области образования предлагается направить p1,5 млрд на поддержку заделов базовых технологий — многопользовательские тактические симуляторы, инфраструктура позиционирования, платформы доставки образовательного контента, средства разработки. Также p3 млрд предлагается направить на поддержку научно-исследовательской работы (НИР), в том числе в направлениях проприацепции и варифокального запаха и воздуха.
В сфере медицины предлагается разработать реабилитационный программно-аппаратный комплекс, включающий все этапы реабилитации, с применением технологий VR/AR и костюма с тактильной обратной связью (p1 млрд), создать тестировочные лаборатории для верификации методик и технологий (p2 млрд), провести методические исследования по применению VR/AR в процессе реабилитации (p700 млн) и поддержать разработки по преодолению фобий, работы с когнитивными расстройствами и лечения болезни глаз на уровне опытно-конструкторских работ (p1,5 млрд).
В сфере промышленности предлагается поддержать проекты на стадии пилотных внедрений в реальный бизнес (p2 млрд), поддержать внедрение платформенных VR-решений в промышленность (p2 млрд), поддержать проекты по разработке универсального конвертера и плагина к Cap/CAE (p1 млрд) и поддержать НИР по разработке компонентов AR-гарнитур (p6 млрд).
| Субтехнология | Ключевые технологические показатели развития | Показатель 2019 г. | Показатель 2021 г. | Показатель 2024 г. (целевой результат) |
|---|---|---|---|---|
| 1. Средства разработки VR/AR-контента, UX (пользовательский опыт) | Доля форматов инженерной и иной графики, поддерживаемых универсальным конвертером | 0,25 | 40% (в том числе — digital twin, из любых форматов, в том числе динамических) | 0,9 |
| Процент сжатия графической информации | 20%, полигональный формат | 30%, аналитический формат | 85-98%, аналитический формат с поддержкой веб-интерфейса | |
| Количество отраслевых стандартов, разработанных UX | 1 (один) | 2 (два) | 4 (четыре) | |
| 2. Платформенные решения для пользователей, включая дистрибуцию и универсальные пользовательские редакторы | Процент поддерживаемых устройств с системой доставки контента | 0,3 | 0,5 | 0,8 |
| Количество поддержек существующих графических движков системы доставки контента | 1 (один) | 3 (три) | 9 (девять) | |
| Количество сцен (библиотека) и объектов в системе создания контента (конструктор) | 1000 сцен и объектов | 2000 сцен и объектов | 20 000 сцен и объектов | |
| 3. Технологии захвата движений в VR/AR и фотограмметрии | Точность позиционирования универсальной системы трекинга в реальном времени при задержке 10 мс на автономном модуле | 4 мм | 1 мм | менее 0,5 мм |
| Количество специализированных систем трекинга | 1 (один) | 2 (два) | 5 (пять) | |
| Разработан стандарт и SDK универсальной инфраструктуры позиционного трекинга | стадия разработки, 10% | стадия разработки, 50% | стадия разработки, 100% | |
| 4. Интерфейсы обратной связи, сенсоры (VR/AR) | Принцип системы обратной связи | виброотдача без биометрических данных | миостимуляции без сбора биометрических данных | миостимуляции со сбором биометрических данных |
| Количество степеней свободы универсальной платформы обратной связи | 3D | 5D | 6D | |
| Количество органов чувств, симулируемых в VR/AR | 3 | 4 | 5 | |
| 5. Технологии графического вывода | Разрешение VR/AR-гарнитуры | 615 пикселей на дюйм | 2 000 пикселей на дюйм | 3 000 пикселей на дюйм |
| Система визуализации | монофокальная | варифокальная (прототип) | варифокальная (рабочая версия) | |
| Уровень окружения | линейное | интеллектуальное графическое | интеллектуальное графическое и физическое | |
| Точность измерений окулографа при частоте 1000 Гц, задержке 1 мс и при энергопотреблении 50 мВ | 10 угловых минут | 6 угловых минут | 2 угловые минуты | |
| 6. Технологии оптимизации передачи данных | Эхотест при проверке качества передачи данных при канале 50 Мбит/сек | 50-100 мс | 50 мс | 20 мс через Wi-Fi и сети пятого поколения |
Короткая ссылка
