Облачная платформа CLAVIRE образовательном процессе: … ·...

1

Облачная платформа CLAVIRE

в научно-образовательном

процессе: виртуальные

среды, лаборатории и

полигоны

А.В. Духанов

А.В. Бухановский

Москва, 21 марта 2013 г.

2

Различия в ожиданиях (гротеск):

Виртуализация ресурсов и виртуализация технологий

Linux-кластер

(MPP)

Windows-

кластер

(MPP)

Компактная

супер-

ЭВМ

(SMP)

WinPC +

GPG

PU

WinPC

«Бизнес-представление»:

виртуальная машина

типовой конфигурации с

набором пакетов

«Потребности науки» - динамический WF

Бухановский А.В., Духанов А.В. Москва, 21 марта 2013 г.

3

Эволюция облачных технологий: от виртуализации – к глобальным управляемым средам

Cloud Computing Maturity Model – CСMM

Консолидация

ресурсов

Виртуализация

доступа к

ресурсам

Автоматизация

использовани

я ресурсов

Развитие

экосистемы

облачных

сервисов

Распространение

сервисов в

облаках

разного

уровня Технологии I поколения:

• Унифицированный доступ к вычислительным и

программным ресурсам требуемой конфигурации

• Удаленное исполнение типовых приложений

• Коллективное хранение и использование

сверхбольших объемов данных

• Виртуализация (кросс-платформенность и кросс-

технологичность)

Технологии II поколения:

• Создание композитных приложений

• Интеллектуальная поддержка

поиска и применения сервисов

• Динамическое управление

производительностью сервисов

• Гибкая интеграция с системами

реального времени


4

CLAVIRE Многофункциональная инструментально-технологическая платформа

облачных вычислений второго поколения

Композитное

приложение

Ресурсы и

сервисы

Проект в рамках реализации Постановления Правительства РФ №218 (2010-2012 г.)

ИНИЦИАТОР: ЗАО «Фирма «АйТи». Информационные технологии» - многопрофильный ИТ-холдинг, предоставляющий весь спектр услуг и решений

для создания, модернизации и сопровождения корпоративных информационных систем

СLAVIRE =

CLoud

Applications

VIRtual

Environment


5

Области применения CLAVIRЕ: поддержка жизненного цикла облачных инфраструктур и сервисов

для высокопроизводительных вычислений

1. Частные и публичные сервисы на основе корпоративных инфраструктур

(эффективное использование высокопроизводительных систем)

2. Коллаборативные облачные среды на основе существующих Грид-

инфраструктур и сообществ

3. Облачные сервисы центров компетенции (консолидация

вычислительных, информационных и программных ресурсов в различных

предметных областях)

4. Инфраструктура экстренных вычислений: вычислительная поддержка

ситуационных центров

5. Облачные сервисы сбора, хранения и обработки больших объемов

распределенных данных (в т.ч., в социальных сетях в Интернет)

Бухановский А.В., Духанов А.В. Москва, 21 марта 2013

6

Архитектура CLAVIRЕ: Децентрализованная система взаимодействующих сервисов

Реализация

концепции iPSE

(Intelligent Problem

Solving

Environment)

Абстрактное

описание

сервисов и

приложений в

терминах

предметной

области, и

трансляция в

исполнимую

форму с

использованием

отчуждаемых

знаний


7

Вычислительная инфраструктура: ориентация на неоднородные вычислительные среды

• Интегрируемые архитектуры: рабочие станции,

суперкомпьютеры, Грид (ГридННС, EGI), облачные

инфраструктуры (SARA, Amazon EC2*, OpenStack*)

• Доступ к ресурсам: прямой доступ (SSH),

клиентское ПО, web-сервисы, системы управления

задачами (PBS), PsExec*

• Операционные системы: Windows - на ядре NT

5.2 (XP) и выше, *nix (Linux)

• Системы управления задачами: Torque, Windows

HPC 2008, Sun Grid Engine, Condor*

• Виртуальные машины: VirtualBox, KVM, VMWare*

• Cистемы обработки данных: Hadoop

* - функционал ограничен

Вычислительные архитектурыx86, CBEA, ПЛИС, GPGPUC

LA

VIR

E

Виртуализация ресурсовVirtualBox, VMWare, KVM

Операционные системыWindows, *nix

Управление задачами

PBS, Torque, HPC, прямой доступ (ssh)

Готовая инфраструктураГрид (ГридННС), облачные среды (Amazon

EC2, OpenStack)


8

Часть 1

Виртуальные среды и

композитные приложения в

CLAVIRE


9

Облачные сервисы СLAVIRE («начинка» для предметников)

46 прикладных пакетов, ~200 ТФлопс вычислительных ресурсов

(не включая «заемные» ресурсы облачных провайдеров I

поколения) Области применения:

Многоцелевые расчеты (SciLab, WEKA, и пр.)

Гидроаэродинамика и прочность (ANSYS, COMSOL и пр.)

Нанотехнологии и квантовая химия (GAMESS, OpenMX, NWChem и

пр.)

Гидрометеорология (WRF, BSM, SWAN, и пр.)

Судостроение (ShipXDS, GA-DS, Stab, и пр.)

Расчеты социальных систем (Pajek, NetworkX, Jung, и пр.)

Анимационное производство (спец. ПО «Смешарики»).


10

Среда доступа к облачным сервисам Проблемно-ориентированные интерфейсы

Проблемно-

ориентированные

интерфейсы могут

быть автоматически

построены на основе

формального

описания сценариев

работы с

прикладными

пакетами


11

Использование

предметно-

ориентированного

языка позволяет

унифицировать

описание и

автоматизировать

запуск композитных

приложений

Композитные приложения: Управляемая композиция облачных сервисов в

CLAVIRE


12

Применение

экспертных знаний

обеспечивает

автоматическую

фильтрацию и

ранжирование

допустимых

решений в

интерактивном

режиме

Индуктивный способ разработки Интеллектуальный инструктор для разработчика приложений


13

Концепция VSO

позволяет перейти к

системному уровню

исследования

системы,

описываемой как

композиция

моделируемых

объектов

Дедуктивный способ разработки Виртуальные моделирующие объекты (VSO)


14

Ресурсы для композитных приложений: пользователь – участник процесса формирования «личного» и публичного облака

Сервис 1

Сервис M

Сервис 2

Ap

plic

ati

on

#1

Ap

plic

ati

on

#2

Регистрация

пакетов

Приложение #2

Приложение #1

МИТП CLAVIRE

Сто

ро

нни

е

се

рви

сы

Встр

аи

ва

ем

ые

пр

ил

ож

ени

я

Оператор

Композитное

приложение

Application.exeApplication.exe

Application started...Input processing...Simulation...Simulation completed: 100%Result processing...Exit code: 0

Application.exeApplication.exe

Application started...Input processing...Simulation...Simulation completed: 100%Result processing...Exit code: 0

Использование

автоматизированных

средств встраивания

прикладных пакетов

позволяет

интегрировать

локальное ПО и

сервисы в рамках

облачной

инфраструктуры

Среднее время встраивания

прикладного пакета – 0,5-3 часа

Среднее время подключения

нового вычислительного

ресурса

– 0,5-1 час


15

Информационная безопасность: средства защиты композитных приложений

Защита от нелегитимного пользователя и некорректных действий легитимного пользователя

Системные сервисы

CLAVIRE

База пакетов

Интерпретация

workflow

Запуск пакетов

WFID

WFID

WFID

WFID

Нелегитимный

пользователь!Некорректные

параметры!

Прикладные

сервисы

Фасад CLAVIRE

Идентификация

Аутентификация

Авторизация

Интерфейсы

CLAVIRE

Запуск

приложения

Построение

приложения

Мониторинг и

результаты


16

Часть 2

Виртуальные лаборатории

на основе CLAVIRE


17

Виртуальная лаборатория в CLAVIRE композитное приложение + доступ к оборудованию

1) Поддержка исполнения композитных

приложений;

2) Удаленное взаимодействие с

пользователем через web-браузер,;

3) Обеспечение интеллектуальной

поддержки пользователей при

выполнении ВЛП;

4) Обеспечение информационной

безопасности ВЛП в рамках модели

системы с открытым контуром;

5) Возможность эффективного

совокупного использования

существующих вычислительных ресурсов;

6) Поддержка «горячего» подключения в

ВЛП новых прикладных пакетов и

вычислительных ресурсов.


Основные характеристики:

18

Учебно-научный web-центр «Социодинамика»: виртуальная лаборатория для исследования социальных сетей

Бухановский А.В., Духанов А.В.

Локальные хранилища

Сеть

Internet

Пользователь

Се

рви

с №

2

Се

рви

с №

1

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

Выбор сервисов для построения WF

Эксперты-разработчики

сервисов обработки данных

Конструирование

WF сбора и

обработки

A

B

CАвторизационный

сервис web-центра

Авторизация по сертификату

A С

Выделенные вычислительные

системы


B

Грид среда I

поколения

B B B


B

Среда облачных

вычислений I поколений

B B B

Аутентификация

Авторизационный сервер

социальной сети

Распределенное хранилище

данных социальной сетиРезультаты расчетовХранилище данных

Виртуальный полигон изучения динамики неформальных

сообществ в социальных сетях (на примере пропаганды

наркотиков) - сбор информации об участниках социальных сетей по

заданному профилю;

- анализ структуры сообществ, включая «потенциальные» связи;

- моделирование развития динамических процессов внутри

сообщества (распространение информации).

S0– лояльные, S1 – втянутые в контакт, S2 –

практикующие наркотики, S3 -

пропагандирующие

http://socio.escience.ifmo.ru

19

Портальное решение «Социодинамика»: доступ к ресурсам и сервисам CLAVIRE через веб-интерфейс

Композитное приложение анализа

предпочтений пользователей

соцсети


20

Учебно-научный web-центр HPC-NASIS II: Облачный УНК «Компьютерное моделирование в нанотехнологиях»

Часть 1

http://hpc-nasis.ifmo.ru


21

Виртуальные лаборатории для

обеспечения межвузовской мобильности

Изучение процессов функциональной

диагностики мозга с помощью

оптической диффузионной

спектроскопии

Изучение процессов активного хранения для

динамического распределения нагрузки на

вычислительных узлах кластерной установки


22

Часть 3

Виртуальные полигоны

на основе CLAVIRE


23

Виртуальный полигон для системы

предотвращения наводнений в СПб

- Ограничение на время

принятия решений

- Использование динамической

распределенной архитектуры

- Автоматизация управления

вычислительными ресурсами

- Сессионность и приоритеты

Система поддержки принятия

решения – технология

экстренных вычислений

Датчики КЗС

Измерения уровня моря

Оперативная информация

Актуальные прогнозыГидрометеороло-

гические модели

Модели технических

объектов

Социальные модели

Информационные

модели

Оценка рисков

(автоматическая/ручная)

СППР

Моделирование

сценариев

Средства компьютерного

моделирования

Вычислительная инфраструктура

Оператор Группа,

принимающая

решения


24

Виртуальный полигон для отработки

управления БПЛА


25

Виртуальный полигон для исследовательского

проектирования в судостроении: конструирование динамических сцен на основе виртуальных объектов

Балтийское море : Море

МПВ_ИТМОПакет:

Сценарий: Из ветра на высоте

Параметры...Скрипт...

SwanПакет:

Сценарий: На мелководье

Параметры...Скрипт...

Морское волнение

Приводный ветер

Параметры объекта

Сетка НастройкаИсточник: хранилищеОК

Батиметрия НастройкаИсточник: хранилище?

Спектры волнения

...

ОК

модельИсточник

Приводный ветер

...

ОК

хранилищеИсточник

Ветер на высоте

...

ОК

BOOS Источник

...Режим: прогноз Режим работы с

объектом

- прогноз

- статический анализ

- оптимизация

параметров

Параметры объекта

доступны всем моделям

в рамках объекта

Модели

- преобразуются в части

задания для запуска

(скрипта)

- настраиваются: выбор

пакета и сценария,

задание параметров

- отключаются по

желанию пользователя

Наборы данных

- могут быть получены из

моделей объекта

(текущего или внешнего)

- доступны

дополнительные способы

задания: хранилище,

внешние сервисы, ручное

задание

- проверяются на

корректность и

целостность

Статус данных

- корректны (ОК)

- требуют задания или

переопределения (?)

- недоступны (Х)


26

Средства человеко-компьютерного взаимодействия

в облачных виртуальных полигонах


27

Распределенный «мобильный» виртуальный

полигон на основе платформы CLAVIRE

Организация межвузовской мобильности молодых ученых

(ФЦП «Научные и научно-педагогические кадры…»): 10 участников, 9 организаций (СПб, Нижний Новгород, Новосибирск,

Переславль-Залесский, Владимир, Волгоград, Уфа, Екатеринбург, Казань)


28

«Теплое место» CLAVIRE в вузе: спрос рождает предложение…

1) Организация безопасного доступа широкого круга пользователей

(специалистов предметных кафедр и институтов) к сервисам

вычислительного центра вуза.

2) Консолидация наукоемкого программного обеспечения и вычислительных

мощностей вуза для корпоративного использования.

3) Организация виртуальных предметно-ориентированных учебных классов и

виртуальных лабораторий на «легкой» инфраструктуре.

4) Франчайзинг образовательных программ с интенсивным применением

компьютерных (суперкомпьютерных) технологий в «непрофильных» вузах.

5) Коммерциализация суперкомпьютерных ресурсов и сервисов: создание

собственных публичных облаков.

6) Участие в публичных облаках других операторов в качестве провайдеров

ресурсов и сервисов на коммерческой основе.


29

Заключение И еще раз о достоинствах CLAVIRE

1) Унифицированный способ подключения и использования разнородных

вычислительных ресурсов и источников данных, включая удаленное использование

экспериментального оборудования

2) Поддержка различных интерфейсов доступа к облачным ресурсам.

3) Поддержка технологий интерактивного управления облачными приложениями.

4) Автоматическая генерация сложных графических web-интерфейсов для прикладных

пакетов и композитных приложений.

5) Участие пользователя в формировании состава «личного» и публичного облаков

6) Интеллектуальная поддержка создания и распространения проблемно-

ориентированных коллекций прикладных сервисов на основе технологии виртуальных

моделирующих объектов.

7) Эффективное планирование исполнения пользовательских задач.

8) Набор готовых прикладных сервисов и композитных приложений в различных

предметных областях.


30

БЛАГОДАРЮ ЗА ВНИМАНИЕ

www.ifmo.ru

http://hpc-magistr.ru

http://escience.ifmo.ru


http://www.ifmo.ru/

http://hpc-magistr.ru/



http://escience.ifmo.ru/

Облачная платформа CLAVIRE образовательном процессе: … ·...

Documents

Transcript of Облачная платформа CLAVIRE образовательном процессе: … ·...