студент: Баулин Иван

Научный руководитель:

с.н.с. Лаборатории Открытых Информационных Технологий ВМиК

МГУ

Намиот Д.Е.

Дополненная реальность в мобильных приложениях

Исследование различных подходов к созданию приложений дополненной реальности в мобильных устройствах (Mobile AR)

Изучение возможности реализации User-Generated Content в приложениях дополненной реальности

Создание подхода к разработке приложений Mobile AR, позволяющегоСуммировать данные от различных поставщиков

контентаИспользовать один и тот же сервис сбора

контента различными AR mobile приложениями

Постановка задачи

Понятие дополненной реальности

Дополненная реальность – разновидность виртуальной реальности, в которой виртуальные объекты интегрируются в реальное окружение

Trackable surfaces – получение информации о реальном мире посредством поиска в в этом реальном мире заранее известных приложению отслеживаемых поверхностей. (Qualcomm SDK)

Браузеры дополненной реальности - получение информации о реальном мире на основе данных о географическом местоположении пользователя и направлении камеры его мобильного устройства (Layar, Wikitude)

Основные подходы реализации AR в мобильных устройствах

Подробнее о Layar• Данные о местоположении пользователя

получаются посредством GPS модуля

устройства

• Направление камеры мобильного телефона

определяется посредством G сенсора

• Сервис состоит из множества слоев,

созданных разными разработчиками

• Слой определяет тот контент, который

будет доступен пользователю

• Контент для данной географической

местности динамически запрашивается с

сервера владельца контента

Общая архитектурная модель предлагаемого подхода

• Различные браузеры дополненной реальности

обращаются за контентом к посреднику

• Посредник динамически запрашивает

информацию о точках интереса у различных

поставщиков контента

• Вся специфика вызовов API поставщиков

контента инкапсулируются в посреднике

• Опросив различных поставщиков контента,

посредник суммирует весь накопленный

массив информации в единый серверный ответ

• Подход позволяет легко подключать новых

поставщиков контента и новые браузеры

дополненной реальности

Пример. Layar слой «Старая Москва»

• Контент слоя – общедоступные старые

фотографии Москвы

• В качестве поставщиков контента

используются общедоступные онлайн

базы фотографий – Flickr и Picasa Web

Albums

• Клиент Layar инкапсулирует всю

работу с GPS и G-сенсором

• На сервер Layar предварительно

загружается статическая информация

о слое

• Массив точек интереса для конкретной

местности динамически

запрашивается посредством Layar API

Пример. Layar слой «Старая Москва» (продолжение)

• Серверный посредник – ASP.NET приложение, задачей которого, с точки зрения Layar,

является получение http запроса и формирование JSON ответа

• Посредник осуществляет поиск фотографий и связанных метаданных во Flickr и

Picasa, используя Flickr API и Google Data API

• Поиск осуществляется по тегам и географическим координатам

• Найденные данные суммируются, «заворачиваются» в JSON и визуализируется на

клиенте

ProcessRequest

GatherPOIsFromFlickr

Other content

providers

GatherPOIsFromPicasa

List<POI> POIs

MakeJSONResponse

Развитие идеи. Создание AR App Wizard.• Пользователь заходит на некоторый веб-сайт, где он может

сконструировать будущее AR mobile приложение без использования

программирования

• Пользователь определяется с внешним видом приложения, набором

доступных фильтров и т.п.

• Для указания требуемого контента есть два пути

• Пользователь дает ссылку на некоторый georss feed• Пользователь использует контент из поддерживаемого набора общедоступных контент

провайдеров ( с возможность настройки фильтрации контента и мэппинга метаданных от поставщика контента в создаваемое приложение)

• Конструктор создает нативное приложение под некоторую мобильную

платформу (например, Google Android)

Заключение

• Исследованы различные подходы к созданию AR mobile

приложений

• Предложена общая архитектурная модель систем

извлечения контента для браузеров дополненной

реальности

• Для иллюстрации подхода реализован мобильный сервис

по публично доступным старым фотографиям Москвы

• Предложено дальнейшее направление развития работы

(AR App wizards)