Рекомендации по проведению экспертной оценки Lt

www.luxoft-training.ru

РЕКОМЕНДАЦИИ ПО ПРОВЕДЕНИЮ ЭКСПЕРТНОЙ ОЦЕНКИ

Алексей Корецкий


Рекомендуемые шаги процесса экспертной оценки 1. Подобрать экспертов для проведения оценки.

2. Выяснить ограничения проекта и процесса оценки.

3. Сформировать команду оценки.

4. Провести декомпозицию работ.

5. Откалибровать экспертов для оценки.

6. Поставить задачу непосредственно на проведение оценки.

7. Проверить и почелленджить оценку эксперта.

8. Сделать общую оценку проекта и проверить ее.

9. Перейти от оценки к планированию проекта.


Поиск экспертов

Условия для предварительного поиска:

Требуемые технологии;

Проектные роли (необходимо «закрыть» основные роли);

Комбинация различных знаний/навыков.

Что проверяем:

Умение оценивать (это навык отличный от умения хорошо выполнить свою работу);

Особенности оценивания (занижение/завышение)%

Возможность и мотивацию на участие в проекте (рекомендуется оценивать людьми, которые потом будут делать проект).


Что делать, если эксперт – оптимист

Помогаем ему включить критическое мышление, то есть:

просим сделать пессимистическую оценку;

просим его написать допущения;

просим перечислить причины или риски из-за которых его оценка может

оказаться неверной;

задаем вопросы, просим более детально объяснить оценку одного или

нескольких пунктов (челленджим оценку);

Подключаем еще одного эксперта – реалиста или пессимиста.


Что делать, если эксперт – неизвестно какой

Предполагаем, что это эксперт –

оптимист.


Выясняем ограничения проекта и процесса оценки Ограничения проекта: бизнес-цели заказчика и нашей компании.

Ограничения на оценку: сроки оценки, ограничения по ресурсам.

• Выясняем, насколько обоснованы ограничения на процесс оценки,

стараемся максимально раздвинуть рамки ограничений.

• Если не успеваем вписаться в рамки ограничений – коммуницируем и

эскалируем всем стейкхолдерам.

• Помним, что возможностей по привлечению ресурсов для оценки

обычно больше, чем думает руководитель проекта.


Формируем команду оценки

Оценка проекта – тоже проект, а оценщики – это тоже команда, а не

группа людей.

В команду ее участников превращает совместная работа над

достижением целей проекта.

Совместная работа – совместный сбор информации, проработка

рисков и декомпозиция работ.

Проводим стартовое совещание с постановкой задачи.

Очень важно сформировать ответственность за оценку, мотивацию на

качественное ее выполнение.


Проводим декомпозицию для оценки

Это совместная работа команды оценки.

Должна включать в себя хотя бы 5 – 10 элементов для включения

эффекта взаимной компенсации ошибок.

Чтобы ничего не забыть, используем:

• типовые WBS;

• WBS уже выполненных проектов;

• чек-листы.


Калибруем экспертов для минимаксной оценки

Если есть исторические данные и формы оценки, заранее проводим

совместное с экспертами сравнение оценок с фактом.

Для корректного использования формы минимаксной оценки делаем

90%-ю калибровку эксперта, то есть:

• оцениваем уже выполненные проекты и сравниваем оценки с фактом;

• если статистики по уже выполненным проектам нет, то используем

«сложные» вопросы;

• используем доводы «за» и «против».


Постановка задачи непосредственно на оценку

Ставим задачу индивидуально (то есть эксперты оценивают независимо друг от друга, без консультаций).

Заранее заботимся о том, что во время оценки эксперт был не загружен другими задачами.

Изолируем эксперта от каких-либо якорей (в том числе от информации о бизнес-целях).

Время на оценку должно быть необходимым и достаточным (избегаем давления по времени оценки).

Вообще не создаем излишнего напряжения – эмоции плохо сказываются на работе.

Четко договариваемся об единых единицах измерения.

Обязательно требуем допущения по каждому элементу оценки.


Задача должна быть поставлена «по SMART-у»


Проверяем оценку эксперта

Индикаторы возможных проблем с оценкой:

Оценка сделана слишком быстро;

Отсутствуют допущения и эксперт не может/не хочет их сделать;

Объясняя оценку, ссылается на свою интуицию;

Предлагает назвать оценку, которую вы ожидаете;

Слишком узкие или широкие интервалы оценки;

Слишком мало элементов в декомпозиции;

Большой разброс (на порядки) в оценке разных элементов

декомпозиции.


Челленжим оценку

Просим перечислить причины или риски из-за которых его оценка

может оказаться неверной.

Задаем вопросы, просим более детально объяснить оценку одного или

нескольких пунктов.

Просим сделать допущения, если не сделаны.

Потом просим сделать переоценку еще раз.


Делаем общую оценку

Делаем оценку, добавляем в нее дополнительные сопутствующие

трудозатраты (например, административные затраты).

Добавляем рисковый буфер.

Добавляем оценку дополнительных проектных расходов –

командировки, привлечение субподрядчиков и др.


Проверяем общую оценку

Используем знания по распределению затрат по процессам и типовым

активностям. Для этого потребуется:

• экспертные оценки затрат на различные процессы, например,

аналитику, разработку и тестирование;

• статистика по распределению затрат по процессам.

Для проектов достаточно больших альтернативно используем

формальный метод оценки (например, UCP).

Организуем внутреннее ревью опытными экспертами.

При необходимости делаем альтернативную оценку сторонней

организацией.


Принятие на себя обязательств

Сравниваем оценку и бизнес-цели.

Если оценка сильно отличается от бизнес-цели, то:

• помним, что плохой менеджер обычно «ничего не может сделать», а

хороший «ищет и предлагает варианты решения»;

• это может потребовать более глубокого понимания потребностей

заказчика, его приоритетов по реализации скоупа, варьирования

скоупом;

• уменьшение оценки должно сопровождаться дополнительными

допущениями.


Переход от оценки к планированию

Создаем дополнительные буферы.

Помним, что буфер – это инструмент менеджера, а не команды.

Получаем от команды коммитмент на план, то есть команда должна

увидеть план и подтвердить, что она способна его выполнить.


Дополнительно

Учет регрессии к среднему значению

Предположим, что, оценивая затраты на проект, мы используем производительность команды или отдельного сотрудника, показанную в прошлом проекте. Из-за регрессии к среднему значению высокая производительность в следующий раз, скорее всего, окажется ниже, а низкая наоборот увеличится. В этом состоит опасность предсказаний на основе единичных наблюдений, в особенности, если наблюдались очень высокие или очень низкие результаты. Ожидать, что экстремальный результат повторится или станет еще экстремальнее – большая ошибка. Следует ожидать обратного, и учитывать это в своих прогнозах. В особенности это относится к производительности отдельного человека. Чем меньше команда, тем большую роль начинает играть производительность отдельных людей, а значит и регрессия к среднему значению.


Рекомендуем литература

О минимаксной оценке и 90%-й калибровке экспертов: Дуглас Хаббард

«Как измерить все, что угодно».

Об особенностях человеческого мышления: Даниэль Канеман «Думай

медленно… решай быстро».


THANK YOU!

[email protected]

Рекомендации по проведению экспертной оценки Lt

Software

Transcript of Рекомендации по проведению экспертной оценки Lt