«Исследование и разработка системы визуального контроля

загруженности высокопроизводительных

систем»

Карпов М.А.СПбГПУ, ФУИТ, 2011

Постановка задачи

Проблема: на крупных кластерных архитектурах, учитывая большое количество запущенных задач, сложно производить диагностику системы.

Требуется система, предоставляющая возможности: Визуального и программного контроля над

загруженностью ядер кластера Анализа системы в целом и её отдельных частей

Intel Trace Analyzer

Microsoft HPC Manager

Vampir

3

Аналоги

• Нет возможности post-mortem анализа• Жёсткая привязанность к компьютеру и

ОС• Проблема при отображении на крупных

архитектурах

Проблематика

HPC SERVER 2008

• Работы проводились на базе 16-ядерного кластера под управлением Windows HPC Server 2008 (предоставленном университету СПбГПУ корпорацией Intel) с использованием предоставляемых фирмой Microsoft утилит и библиотек HPC Pack и HPC SDK

5

Кластер Lawrencium

• Структура кластера университета Berkeley: – Linux– 212 узлов, 1698 ядер– 6 модулей (24 узла / 8 ядер)

ВИЗУАЛИЗАЦИЯ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯПАРАЛЛЕЛЬНЫХ ВЫЧИСЛЕНИЙ

Визуализация помогаетпонизить интеллектуальную сложность за счёт использования разнообразныхметодик.

7ФУИТ. Карпов М.А. 21 стр

Наиболее эффективны:

трёхмерностьанимация

Проблемы и пути решения

• Реализация 3D-объектов• Postmortem replay• Веб-интерфейс• Локализация под

планшетные устройства

Технологии

• C# HPC Pack и HPC SDK• X3D markup• HTML5• WebGL• jQuery, JS, AJAX• iPad, Android

Метафора молекулы Выделение цветом родственых подзадач Отображение загруженности ядерВложенность структуры кластера

Метафора «парник»

Характеристики:

• Свободная и используемая память

• Использование ресурсов системы

• Возможность управлять задачами и ресурсами

12

Job

Serial Application MPI ApplicationParametric Sweep

Application

Task Task Task Task Task

Task Task Task

Task Task Task

Task flow

Task

Task

Task

Task Task

Proc Proc Proc Proc

One JobOne Task

One JobMultiple Tasks

1. Данные в realtime2. Логирование 3. Формирование отчета4. Просмотр отчета5-6. Считывание bar-code7. Replay

• Более 10 публикаций, в том числе в журнале из каталога ВАК

• Участие в крупнейших научных школах: • Москва (Microsoft)• Владимир (Суперкомпьют. консорциум

России)

• 1 место в конкурсе-конференции от Microsoft

• Дипломы СПбГПУ за научные достижения в фундаментальных исследованиях

• Грант Правительства Петербурга

Научные достижения

Вычислительные мощности HPC Server

Оборудование EMC

Работа над прикладной задачей (н-р медицинской). Диагностика и оптимальная настройка кластера.

В будущем

Реализовать для распределенной сети (учитывая скорость доступа).

• Снятие информации с кластера

• Метафоры «молекула»/«парник»

• Веб-интерфейс X3D• Postmortem-анализ

Заключение

Программный комплекс для диагностики кластерных систем:

Спасибо за Ваше внимание!Вопросы?

17

{ kapnov@gmail.com }

x3d.unet.com

<запасные слайды>

Про скептицизм

• Это не «серийная» разработка

• К 3D и планшетам не привыкли

• 3D не является «серебрянной пулей»

<схемы и структуры (много)>