0 Список сравнения
0 Избранные товары
0
23:13:26 - 21.11.2018
01:19:16 - 26.09.2018

Обзор применения голографических очков HOLOLENS для обучения и в медицинской практике

Интерактивный голографический анатомический атлас человека с элементами симулятора хирургического вмешательства на основе КиберСклиф.

Этот год выдался на редкость прорывным на новые инновационные устройства. Джон Риччитиелло (John Riccitiello), президент Unity Technologies, сказал о AR/VR: «Это технология, появляющаяся лишь раз на памяти одного поколения, которая настолько привлекает всеобщее внимание, что меняет буквально все», и я не могу не согласиться с ним. HoloLens, интереснейшее новое устройство от Microsoft, способно смешивать реальный и виртуальный миры. А также впервые в России совместно с компанией «Хологрупп» (Москва, Сколково), Лабораторией 3D технологий медицинского университета и стартап компании «Кибермед» начали разработку модульного медицинского программного обеспечения для хирургов, стоматологов и студентов-медиков.

HoloLens от Microsoft

Что такое HoloLens?

HoloLens -это мобильный, полностью автономный компьютер с Windows 10, который удобно надеть на голову, что к стати очень прекрасно для хирургов, которые стоят перед операционным столом. Это устройство так называемой смешанной реальности (mixed reality), которое пытается смешивать реальный и электронный миры. Вы видите объекты, помещенные в мир, которые выглядят и до некоторой степени действуют так же, как и в реальном мире. В противоположность этому VR погружает вас в некую среду, и вы обычно видите виртуальный мир, а не то, что находится вокруг вас. Как правило, визуально вы не ощущаете реального мира вне дисплея, смонтированного на шлеме (head-mounted display, HMD). Он позволяет вам почувствовать себя, например, летящим в кровеносном потоке человеческого организма, хотя вы сидите в кресле в офисе. AR пытается расширить мир вокруг вас дополнительными данными, такими как маркеры или дополнительной информацией, которая может относиться к тому месту, где вы находитесь. Некоторые головные гарнитуры AR просто проецируют на экран текст и изображения, перекрывающиеся с тем, на что вы смотрите.

С помощью HoloLens можно поместить приложения и объекты в окружающий мир, понимающие вашу среду. Если вам нужно окно приложения, прикрепленное к стене или висящее в воздухе какой-то человеческий орган (рис. 1), - никаких проблем. Такие приложения остаются закрепленными, даже когда вы покидаете помещение и возвращаетесь в него на следующий день. Допустим, вы хотите, чтобы в гостиной перед вами стоял скелет, который вы можете обойти вокруг и изучить (в том числе, посмотреть на его макушку, забравшись на диван). И вновь, никаких проблем.

Дополненная реальность с HoloLens

Приложение на стене и скелет человека

Инструментарий и SDK

Для HoloLens не существует отдельного SDK - он просто является частью Windows 10 SDK. Потребуется лишь Visual Studio 2016 с Update 3 или выше и при установке обязательно отметить флажок Tools and Windows 10 SDK. Вы можете заново запустить установщик Visual Studio для выбора этого параметра, но, разумеется, следует запускать только установщик для Update 3 (или выше, если он появится).

HoloLens полностью соответствует Universal Windows Platform (UWP), поскольку это устройство с Windows 10, которое выполняет UWP-приложения. Все правильно: любое приложение Windows 10 может потенциально работать не только на настольном компьютере, смартфоне и Xbox, но и в HoloLens. Как и в случае любого приложения на любой платформе, вы должны позаботиться о том, чтобы ваше приложение хорошо выглядело на конкретных устройствах, на которые вы ориентируетесь, поскольку у разных устройств разные разрешение экрана и характеристики памяти.

Человек привык получать информацию в двухмерном формате (из атласов-книг или экранов компьютеров), однако лучшим способом восприятия в некоторых дисциплинах является трехмерный подход к информации. Особенно в медицине.

3D Атлас анатомии:

Разработанный двумя стартап-компаниями (Кибермед и Хологрупп) и Ставропольским медицинским университетом (лаборатория 3D технологий) программный модуль «АНАТОМИЯ» (Учебный режим системы AR-ANATOMI) позволяет медицинским студентам взаимодействовать и свободно двигаться в клинических условиях, которые дополнены голограммами. Сначала студенты смогут исследовать 3D-анатомию внутренних органов тела манекена.

3D-анатомия внутренних органов тела манекена

3D Атлас анатомии

Голограмма ХолоДоктор

Учащиеся могут поднимать голограмму ХолоДоктор над телом манекена, чтобы лучше понимать анатомию человека и то, как интегрированы его сосудистая, респираторная и костная структуры. Голограмма сердца, например, может быть изолирована и увеличена, вращаться и поворачиваться, перенесена на уровень глаз студента. И если учащийся затрудняется в понимании концепции, он может зайти с другой стороны голограммы, чтобы взглянуть с другой перспективы.

Голограмма сердца

Голограмма сердца с другой перспективы

Симуляция:

На основе DICOM файлов, полученных на КТ и МРТ создается 3-4 отдельных трехмерных модели (непосредственно почка, ее кровеносные сосуды, каналы и новообразования, и т.д.). Полученная многослойная модель помещается в программу-симулятор, с добавлением моделей поверхности тела и крупных сосудов. В программе возможно проведение манипуляций с моделями с помощью инструментов (рис.2) - игла, скальпель; или проводить малоинвазивные операции с помощью троакаров (это хирургический инструмент, позволяющий проникать в полости человеческого организма через покровные ткани с сохранением их герметичности в ходе манипуляций). Данная система полностью адаптирована для применения очков дополненной реальности, для отработки, совмещения и симулирования различных манипуляций в хирургии.

Интерфейс и инструменты симуляционной хирургической системы

Рисунок 2 Интерфейс и инструменты симуляционной хирургической системы

Рис.2 Интерфейс и инструменты симуляционной хирургической системы

Автор: Мишвелов Артём Евгеньевич

23:13:26 - 21.11.2018
Возврат к списку