11

Проблемы и проектыПроблемы и проекты

интерфейса «робот (машина) – человек»интерфейса «робот (машина) – человек»

«Сколково Роботикс», Сколково Гиперкуб, 20-22 марта 2015«Сколково Роботикс», Сколково Гиперкуб, 20-22 марта 2015

В.Е.ПавловскийВ.Е.Павловский

доктор физико-математических наук, профессор,доктор физико-математических наук, профессор,Институт прикладной математики им. М.В.Келдыша РАНИнститут прикладной математики им. М.В.Келдыша РАН

22

О содержании

1. Типовые нетипичные интерфейсы «не-keyboard»- хаптик интерфейсы- интерфейсы с преобразованием потока данных (например, зрение – тактильные данные, слух)

2. ИМК – интерфейс «Мозг – Компьютер»

3. Специфические интерфейсы современных роботов

3

1. Типовые нетипичные интерфейсы- хаптик интерфейсы

4

Примеры возможных решений:

- голосовой интерфейс

- жестовый интерфейс

- специальные интерфейсные решения (перчатки,

контакторы, трехмерные манипуляторы, и т.п.)

5

ЧЕЛОВЕКО-МАШИННЫЙ ИНТЕРФЕЙС В РОБОТИКЕ

Робот БЕРТИ (BERTI) в Лондонском музее наук

6

ЧЕЛОВЕКО-МАШИННЫЙ ИНТЕРФЕЙС В РОБОТИКЕ

Робот БЕРТИ (BERTI) в Лондонском музее наук

Имя Берти - это аббревиатура, образованная сокращением слов Bristol Elumotion Robotic Torso 1.

Робот пробудет в музее недолго, но за то время, что он будет пребывать в музее любой посетитель может поработать с ним, для этого необходимо надеть специальную перчатку с датчиками движения.

Робот умеет разговаривать "компьютерным голосом" и владеет несколькими жестами, правда словарный запас андроида невелик и жесты разнообразием не отличаются.

Данному роботу около двух лет от роду, его разработчиками является компания Elumotion, построившая робота в сотрудничестве с Бристольской робототехнической лабораторией. Создатели надеются, что Берти поможет им создать искусственный интеллект самого высокого уровня.

Компания работает над роботами-андроидами, с которыми можно будет легко общаться. Такие как Берти роботы могут быть полезны при создании протезов для людей, а также при выполнении опасных для жизни работ, например, саперных или работ на большой высоте.

7

ЧЕЛОВЕКО-МАШИННЫЙ ИНТЕРФЕЙС В РОБОТИКЕ

Голосовое управление роботом университета Чень-Кунь (Тайвань)

Специалисты государственного университета Чень-Кунь (Тайвань) объявили о создании самого маленького в мире робота, управляемого голосовыми командами. Машина, рост которой составляет всего 15 сантиметров, построена на базе коммерческой гуманоидной платформы GeStream BeRobot; она имеет 16 степеней свободы, интегрированную камеру, а также программную часть, способную интерпретировать команды на нескольких языках и осуществлять несколько тысяч возможных действий.

Кроме того, предусматривается возможность не только управлять роботом в режиме реального времени, но и программировать его на выполнение последовательных действий.

8

ЧЕЛОВЕКО-МАШИННЫЙ ИНТЕРФЕЙС В РОБОТИКЕ

Навигатор BMW с голосовым управлением

Компания BMW представила систему голосового управления для навигации в автомобиле. Как говорится в официальном пресс-релизе, с этой системой водитель будет нуждаться только в одной команде. Ожидается, что прокладка маршрута будет осуществляться при произнесении нужного адреса вслух. Параллельно с навигационной представлена также новая мультимедийная система, которая также управляется голосом.  На всех новых автомобилях BMW данные системы станут доступны с конца 2009 года.

9

ЧЕЛОВЕКО-МАШИННЫЙ ИНТЕРФЕЙС В РОБОТИКЕ

Жестовый интерфейс университета Брауна, Провиденс, США

Разработчики университета Брауна продемонстрировали возможность отдавать машине невербальные команды в любой обстановке, что обеспечивается расширением стандартного алгоритма цифровой идентификации объектов. Датчик глубины объекта был разработан при помощи инфракрасной камеры; робот, оснащенный таким модулем, постоянно анализирует внешнюю обстановку, вычленяя из всех объектов оператора и следя за его движениями, опознает отдаваемые им жестовые команды.

10

ЧЕЛОВЕКО-МАШИННЫЙ ИНТЕРФЕЙС В РОБОТИКЕ

HAPTIC интерфейс. Компьютерная перчатка P5.

P5 состоит из двух частей - собственно перчатки (это, скорее, даже не перчатка, а накладка на руку) и базовой станции. Базовая станция включается в порт USB и не требует внешнего питания. Перчатка включается проводом в базовую станцию. На тыльной стороне "ладони" расположено 8 инфракрасных светодиодов (что характерно, цифровая камера их не "видит", хотя свет от обычного пульта ДУ она видит великолепно), которые позволяют базовой станции отслеживать перемещения руки в пространстве.

11

ЧЕЛОВЕКО-МАШИННЫЙ ИНТЕРФЕЙС В РОБОТИКЕ

HAPTIC интерфейс. Компьютерная перчатка P5.

В базовой станции находятся две инфракрасные камеры - это позволяет более надежно следить за перчаткой и точно определять расстояние до нее. Зона видимости базовой станции составляет 45° по вертикали и горизонтали и около полутора метров в "глубину". В этом конусе P5 может отслеживать координаты руки по всем трем осям с точностью до 0.6 см (на расстоянии 60 см от базы), а также поворот и наклон ладони с точностью до 2 град. Опрос координат происходит с частотой 40 гц (задержка составляет 12 миллисекунд).

12

ЧЕЛОВЕКО-МАШИННЫЙ ИНТЕРФЕЙС В РОБОТИКЕ

HAPTIC интерфейс. Компьютерная перчатка P5.

Кроме светодиодов системы слежения в перчатке имеется пять резиновых "пальцев" с датчиками изгиба. К руке они крепятся пластиковыми кольцами и измеряют изгиб с точностью в 1.5 град. Еще на тыльной стороне перчатки имеется четыре кнопки, одна из которых - программируемая (остальные служат для калибровки, включения/выключения и переключения режимов работы). Таким образом, в терминах джойстика P5 имеет 11 аналоговых осей и одну кнопку.

13

1. Типовые нетипичные интерфейсы- интерфейсы с преобразованием потока данных

(например, зрение – тактильные данные, слух)

14

1. Типовые нетипичные интерфейсы- интерфейсы с преобразованием потока данных

(например, зрение – тактильные данные, слух)

Проекты Imagine Cup Microsoft

15

Проекты Imagine Cup Microsoft

a) Kinect for the Blind, МФТИ, 2011 г.

16

http://www.zoneos.com/kinectfortheblind.htm

Как работает Kinect for the Blind.

17

http://www.zoneos.com/kinectfortheblind.htm

Как работает Kinect for the Blind. Пояс информации.

18

http://www.zoneos.com/kinectfortheblind.htm

Как работает Kinect for the Blind. Тактильная матрица.

19

http://www.zoneos.com/kinectfortheblind.htm

Похожие проекты.

NAVI – Navigational Aids for the Visually Impaired

Vision Substitution

AuxDeco - Forehead Sensory Recognition

The vOICe - See with your Ears

20

1. Типовые нетипичные интерфейсы- интерфейсы с преобразованием потока данных

(например, зрение – тактильные данные, слух)

Проекты Imagine Cup Microsoft 2012

21

1-ое место в категории «Проектирование программного обеспечения»: Проект Enable Talk (Донецк)

Команда из Украины создала проект, который позволяет переводить язык жестов в голосовые сообщения. Enable Talk состоит из пары перчаток с гибкими сенсорами, предназначенными для отслеживания сгибания пальцев, акселерометра, компаса для определения положения руки в пространстве, и гироскопа.

Таким образом, берутся данные жестов, переводятся с помощью нейронной сети и передаются через Bluetooth к мобильному телефону, который озвучивает речевую версию того, что было сказано жестами, используя Microsoft Speech API.

22

3-е место в категории «Проектирование программного обеспечения»: Проект wi-GOАвтономная магазинная тележка. Португалия.

Приз зрительских симпатий: D LabsСистема помощи детям улучшать навыки чтения (Кинект). Индия.

23

1. Типовые нетипичные интерфейсы- интерфейсы с преобразованием потока данных

(например, зрение – тактильные данные, слух)

Проекты Imagine Cup Microsoft 2014

24

Конкурс «инновации»

Победила команда [self tune] (МФТИ, г. Москва) с одноименным проектом — мобильным приложением, помогающим определить уровень стресса пользователя с помощью камеры телефона на основании отклонений пульса, а также предлагающим набор упражнений для снятия стресса..

2525

2. ИМК – интерфейс «Мозг – Компьютер»

26 Схема идеи ИМК.

27ИМК в МГУ-Сколково (кадр из фильма).

2828

3. Специфические интерфейсы современных роботов Проекты

2929

1. Детство, отрочество, юность … iCUB и NAO

3030

2. HEARBO Robot Has Superhearing

3131

3. Adam Z1 обладает интеллектом трехлетнего ребенка

3232

4. Diego-San имеет самую реалистичную мимику, МОДЕЛИРУЕТ ЭМОЦИИ(университет San Diego, США)

3333

5. Kirobo – японский робот-астронавт с мощной системой коммуникации

3434

6. Робот NICO приобретает самосознание с помощью зеркал

3535

7а. Алиса Зеленоградова, Нейроботикс, Зеленоград, Россия

3636

7б. Алиса Зеленоградова, Нейроботикс, Зеленоград, Россия

3737

8. AIDA robot. MIT-Volkswagen. USA-Germany.

38

II Всероссийский научно-практический семинар «Беспилотные транспортные средства с элементами

искусственного интеллекта»(БТС-ИИ-2015)

www.ai-uv.ruПлощадка для обмена опытом между специалистами в области

искусственного интеллекта, робототехники, беспилотных транспортных средств и др.

1-й семинар прошёл в Казани, 24 сентября 2014, и имел большой успех:

– 16 приглашенных докладчиков из ведущих НИИ и ВУЗов страны, более 150 слушателей;

– принятые доклады опубликованы в трудах 14-й национальной конференции по искусственному интеллекту (КИИ-2014) отдельной главой и доступны онлайн (2014.ai-uv.ru).

2-й семинар пройдёт в Санкт-Петербурге, 9 октября, в рамках международной конференции «ЭКСТРЕМАЛЬНАЯ РОБОТОТЕХНИКА» (ЭР-2015)

Приглашаем всех заинтересованных исследователей и разработчиков принять участие в семинаре БТС-ИИ-2015!

Контактное лицо: Константин Яковлев, yakovlev@isa.ru

39

4040

Спасибо за внимание