Async Gateway или Разработка системы распределенных...

Async Gatewayили разработка системы распределенных вычислений с нуля

© 2014 Epam Systems

Требования

● Поддержка Map Reduce● Поддержка Pipeline● Оптимизация ресурсов● Оптимизация плана вычислений● Удобный API для клиентов


Технологии

● Java 7 (Java 8 в перспективе)● Hazelcast● Optaplanner● REST Services


Архитектура

Узел Узел

Узел Узел

Клиент Клиент

ДиспетчерHazelcast Hazelcast

Hazelcast Hazelcast

ХранилищеREST REST

Optaplanner powered


Работа с HazelcastЯвляется бесплатным распределенным “in-memory” хранилищем


Использование Optaplanner

2*0+2*3+2*4 2*(3+4)

Математический движок для оптимизации задач и ресурсов


Узел

● Коммуникация через Hazelcast● Динамическая загрузка новых задач● Запуск задач на исполнение● Версионность задач● Наблюдение за состоянием здоровья

узла


Загрузка новой задачи на исполнение

Узел

Наблюдатель

Файловая система

Jar JarJarJarJar


Язык описания задач (DSL)

● Последовательная и параллельная обработка задач

● Возможность дожидаться/не дожидаться выполнения всех задач в пакете

● Понятный API для составления пакетов задач


Постановка задачи

Задача: Порезать арбуз и вытянуть косточки с помощью Async Gateway

Дано: Целый арбузЦель: Дольки без косточек


Пример составления плана задачи

План_Выполнения = строитель() .начать(“Взять нож и порезать на 6 частей”, “арбуз”)




.разделитьВыполнение(“Разрезать круглую дольку накрест”)





.послеВсех(“Вытянуть косточки”)





.послеВсех(“Вытянуть косточки”)

.послеНачать(“Подать арбуз”)

.конец();

x 24


Вопросы

Async Gateway или Разработка системы распределенных...

Software

Transcript of Async Gateway или Разработка системы распределенных...