Monitoring and Evaluation of UNDP-GEF projects (Russian version of UNDP presentaiton)

Мониторинг и оценка проектов ПРООН-ГЭФ

Обучающий семинар для менеджеров проектов ПРООН-ГЭФ

Душанбе, Таджикистан22-24 февраля 2011

© 2011 UNDP. All Rights Reserved Worldwide.Not For Distribution Without Prior Written Permission.

Марина ОльшанскаяРегиональный технический советник ПРООН-ГЭФ по изменению

климатаРегиональный Центр ПРООН по странам Европы и СНГ

http://images.google.com/imgres?imgurl=http://www.iwlearn.net/abt_iwlearn/events/ouagadougou/logo-gef.jpg&imgrefurl=http://www.iwlearn.net/abt_iwlearn/events/ouagadougou/workshopinfo&h=90&w=87&sz=3&hl=en&start=4&tbnid=rON0QLug2k24TM:&tbnh=78&tbnw=75&prev=/images?q=GEF+logo&gbv=2&hl=en&sa=G

22

• Ознакомиться с и научиться выполнять минимальные

требования по мониторингу и оценке РЕЗУЛЬТАТОВ

проектов ПРООН-ГЭФ

• Понять смысл и назначение «логических рамок»

(logframe)

• Обучиться подготовке ежегодных отчетов (ПИР)

• Познакомиться друг с другом и обменяться опытом

• ?????

Цели семинара

33

День 1: • Логические рамки проекта• Начальная стадия проекта• ПИР: Project Implementation Review• Завершительная стадия проекта

День 2: • Мониторинг сокращения выбросов ПГ• Независимая оценка проектов• Мониторинг социально-экономических результатов • Управление знаниями и PR

День 3: Ознакомительная поездка на проект ВИЭ/ЭЭ

Обзор семинара

Часть I: Введение в мониторинг и оценку





55

• СВОЕВРЕМЕННАЯ ОЦЕНКА И ПРЕДСТАВЛЕНИЕ КОНЕЧНЫХ

РЕЗУЛЬТАТОВ ПРОЕКТА (MEASURING AND DEMONSTRATING IMPACTS)• Отчет перед донором, государством и другими партнерами• Контроль над ситуацией и своевременное выявление проблем

• Документация «достижений», «уроков», «полезных советов»•

Зачем?

Кто?

• Менеджеры проектов - ежедневно• Страновой офис, региональный центр, штаб-квартира - регулярно• Независимые эксперты: среднесрочная и финальная оценка

66

Руководство по мониторингу и оценки в проектах ГЭФ:

http://intra.undp.org/gef/programmingmanual/me_intro.htm

77

Основные элементы мониторинга в проектах ГЭФM&E Ответственность Сроки

Логические рамки с показателями, базовой линией, целевыми индикаторами

Группа разработки проекта

Подготовительная стадия проекта

План M & E Группа разработки проекта

Подготовительная стадия проекта

Начальный отчет Проектная команда Начальная стадия

Годовой рабочий план Проектная команда Ежегодно

PIR (GEF) Проект, UNDP CO, RCU (Братислава)

Ежегодно

APR (UNDP) UNDP CO Ежегодно

Среднесрочная и финальная оценка

Независимая оценка Сроки согласовываются с ГЭФ на стадии утверждения проекта

Финальный отчет Проектная команда Месяц до завершения проекта

Финансовый аудит UNDP CO Ежегодно

88

• SMPR – Secretariat Managed Project Review

• Programme Study – by focal area (Climate Change):–Measuring Results from Climate Change Programs-Performance Indicators for

GEF 2000 –Results from the GEF Climate Change Program 2002 –The GEF Energy-Efficient Product Portfolio-Emerging Experience and Lessons –The GEF Solar PV Portfolio-Emerging Experience and Lessons –Thematic Review of GEF-Financed Solar Thermal Projects 2002– Climate Change Program Study 2004

• Overall Performance Study – OPS 2, OPS 3, OPS 4

• Annual Impact Reviews (на основе ПИРов)

• Country Portfolio Evaluations (Турция, Молдова)

• Tracking Tools (новое требование)

Более подробно на странице ГЭФ: http://www.thegef.org/gef/eo_office

Другие типы оценки проектов ГЭФ

99

Пример плана мониторинга и оценки: Казахстан ЭЭ в зданияхType of M&E activity Responsible Parties Budget $ Time frame

Inception Workshop Project manager UNDP CO and RCU 3,000 Within first two months of

project startup

Visits to field sites UNDP CO and RCU

Government representatives 16,000 YearlyII. Project reporting

Inception Report Project manager, UNDP CO International consultant None

Within three weeks of Inception Workshop

Periodic status reports Project manager None Quarterly Annual Project Reports and Project Implementation Reviews

Project manager UNDP CO and RCU

None Annually

Mid-term Evaluation National and international consultants 36,000 At the midpoint of project

Final Evaluation National and international consultants 36,000 At the end of project

Project Terminal Report Project manager. UNDP-CO External Consultant None

At least one month before the end of the project

Financial audits UNDP-CO 25,000 YearlyIII. Evaluation of energy savings, avoided emissions, and other project results

Compilation and analysis of national statistics

National consultants 3,000

Field verification of building energy performance

Government agencies National and international consultants Project architect/specialist

10,500Throughout project (inspection and documentation of at least six to ten buildings per year)

M&E of demonstration projects National and international consultants Regional administrations

28,500

Opinion research National consultants 10,500TOTAL INDICATIVE COST Excluding project staff time, UNDP staff and travel expenses. 168,500

1010

Подготовить и направить в RCU (Марине) до 15 марта годовой план

мониторинга и оценки на 2011 год

Follow-up action 1

Часть II: Логические рамки проекта





1212

Логические рамки – ключевой инструмент мониторинга и оценки

GOAL/Цель

«Высокая» цель, достижению которой будет способствовать проект, наряду с другими начиональными и междунарожными инициативами в этой области

-Повышение энергоэффективности зданий и/или сектора теплоснабжения- Продвижение возобновляемых источников энергии- Создание экологически и экономически устойчивых транспортных систем

OBJECTIVE/Задача

«Конкретная» задача конкретного проекта (одна!): что проект планирует достичь в рамках поставленной «высокой» целей (Project Impact)

-Повысить энергоэффективность новых и отремонтированных зданий на 25% - в среднем до 85 kJ/m2, обеспечив тем самым сокращение выбросов ПГ на 3 млн т CO2 в 2010-2015

OUTCOMES/Компонент

ы

Основные компоненты проекта: ключевые результаты

-Принятие новых стандартов (СНИПы)-Повышение «исполняемости» существующих стандартов-Система сертификации и маркировки энергоэффективной продукции-Строительство пилотных объектов (демо-проекты)

OUTPUTS/Действия

Основные действия : •мероприятия, проведенные проектом, услуги, оказанные проектом•Отчеты, подготовленные проектом, пр

-Проведение семинаров, треннингов-Подготовка отчетов-Закупка метариалов, турбин, бойлеров, краски, пр

ЛОГИЧЕСКИЕ РАМКИ ПРОЕКТА

ГОДОВОЙ БЮДЖЕТ И РАБОЧИЙ ПЛАН

1313

Логические рамки – ключевой инструмент мониторинга и оценки

Стратегия проекта Индикаторы Базовая

линия Цель Источник проверки

Предпосылки/риски

Задача: Повысить

энергоэффективность

зданий

Среднее потребление тепловой энергии в новых и отремонтированных зданиях

- 140 kJ/m2.°C. – существующие здания, - 100 kJ/m2.°- новые здания

85 kJ/m2.°C.day СНИПы; национальная статистика; количественные оценки, проведенные проектом

Инвестиции в строительствоВыбросы ПГ в

результате энергопотребления в новых и отремонтированных зданиях

25.5 млн т CO2 в 2010-2105

22.5 млн т CO2 в 2010-2105 (т.е. На 3 млн т меньше, чем в базовом сценарии

RISK LOG

PROJECT IMPACT

1414

Логические рамки – обязательные показателиGEF Project Impact Metrics for Climate Change Indicators

CC Performance Indicator Impact Metric

Portfolio-level (all CC projects)Annual CO2 reduction Emissions avoided (Mt

CO2/year) during PIR reporting period

Cumulative CO2 reduction Emissions avoided (Mt CO2) since start of project

Market transformation Number of markets that the project has influenced, developed or transformed0 = No standards are in place – may have been discussed;

1 = Standards may have been discussed and formally proposed;2 = Standards have been formally proposed but not adopted;3 = Standards have been formally adopted, but have no enforcement mechanism; and4 = Standards are adopted, have enforcement mechanism, and sales of EE appliances or construction/retrofitting of EE buildings are on the upswing.

1515


CC

Performance Indicator

Impact Metric

GEF 4 Strategic Objective 1: Energy-Efficient BuildingsEnabling

policy environment

Indicator 1: Drafting, adoption and enforcement of policies and

legislative measures contributing to enabling environments (Please

rate on scale of 0 to 4, with 0 being no achievement of the outcome and

4 being complete achievement of all the steps.)

Energy savings

Indicator 2: Quantity of Energy saved (toe saved or MWh saved or

GJ saved)

1616


CC Performance

Indicator Impact MetricGEF 4 Strategic Objective 3: Renewable Energy

Enabling policy environment

Indicator 1: Adoption / creation / enactment of

policy for on-grid renewables (scale of 0 to 4)

Electricity generated from on-grid

renewable sources

Indicator 2: Electricity production in the reporting period from grid-connected

renewable energy installations installed under the influence of the project

(MWh / year)

1717


CC Performance

Indicator Impact MetricOP 11: Sustainable Transport

Enabling policy environment

Indicator 1: Adoption / creation / enactment of

sustainable transport policy (scale of 0 to 4)

Annual person-trips on sustainable

transport options

Indicator 2: Number of annual person-trips taken on

sustainable transport options promoted under

project

1818

Atlas Risk Log

19

Management Response: Risk Management / View Details

2020

Заполнить матрицу рисков в Атласе и регулярно ее обновлять

(рекомендовано раз в месяц)

Follow-up action 2

2121

Логические рамки – изменения

Project Strategy Objectively verifiable indicators

Goal (Concise narrative of the overall goal that the project is contributing to)

Indicator(quantified and time-bound)

Baseline Target Sources of

verification

Risks and Assumptions

Objective of the project (only one)

Outcome 1(max 3-5

outcomes)

Только через Совет ГЭФ

В начальной фазе и после

среднестоимостной оценки

Регулярно

2222

Логические рамки – практическое задание

1) Понятны ли цели?

2) Укажите источники проверки для каждого целевого показателя

3) Предусмотрите действия в рамках годового плана M&E для сбора

необходимой информации/данных, чтобы обеспечить мониторинг

достижения целей проекта

4) Каковы основные риски/предпосылки, связанные с достижением

целей проекта?

2323

Еще раз ознакомиться с логическими рамками проектов (на уровне

целей и задач), подготовить и включить в ежегодный план

мониторинга и оценки проекта мероприятия по сбору информации и

данных для обеспечения мониторинга целей и задач проекта:

1) Для проектов в начальной стадии: уточнение базовой ситуации

2) Для проектов, находящихся в стадии реализации более 2 лет:

мониторинг достижения целей проекта

Follow-up action 3

Часть III: Начальная стадия проекта





2525

Начало проекта: последовательность действий

1) Подписание проектного документа ПРООН/Правительство2) Назначение Национального Диретора Проекта3) Найм Менеджера, Ассистента, других ключевых экспертов,

включая международного (можно через ростер)4) Организация Inception workshop:- Внутренний (команда, офис ПРООН, технический советник)- Внешний (основные партнеры)4) Проведение дополнительных исследований/анализа и

подготовка Inception Report5) Создание и проведение первой (установочной) встречи

Координационного комитетаДо 6 месяцев с мосента подписания продока!

2626

Inception Workshop and Report

Зачем:• Проанализировать текущую ситуацию/документировать

изменения (например в гос программе) • Обновить/уточнить базовую линию/целевые показатели• Предоставить детальное описание предполаганмых

мероприятий по каждому из компонентов проекта• Описать текущий статус проекта (следуя логическим рамкам)• Провести оценку рисков (включая Атлас) • Уточнить и формализовать структуру управления проектом• Подготовить бюджет и рабочий план проекта на первый год• Обновить список партнеров проекта

2727

Логические рамки – изменения

Project Strategy Objectively verifiable indicators

Goal (Concise narrative of the overall goal that the project is contributing to)

Indicator(quantified and time-bound)

Baseline Target Sources of

verification

Risks and Assumptions

Objective of the project (only one)

Outcome 1(max 3-5

outcomes)

Только через Совет ГЭФ

В начальной фазе и после

среднестоимостной оценки

Регулярно

2828

Вопросы?

Часть IV: Project Implementation Review (PIR)





3030

- Ежегодный отчет о ходе реализации проекта: 1 июля – 30

июня- Когда: июль – август (как минимум 1 месяц!)- Готовится совместными усилиями проектной команды,

офиса ПРООН, регионального центра (необходимо

согласовать график подготовки ПИРа заранее) затем

отправляется в штаб-квартиру ПРООН, потом в Секретариат

ГЭФ и Совет ГЭФ

PIR: сроки подготовки

3131

- НЕТ АКРОНИМАМ, допускаются только четыре:- GEF, UNDP, CO2, GHG

- Проверка орфографии - Краткость - сестра таланта (А. П. Чехов)- Пишите на английском (самостоятельно или с помощью

международного эксперта, странового офиса)

PIR: основные правила

3232

PIR: основные элементы

•Progress towards achieving project objectives •Progress in project implementation •Project assessment by PM, CO and RCU•Updated Risk Log•Adjustment to project strategy and timeframe•Financial information: delivery of GEF resources and realized

co-financing•Good practices/lessons learnt•GHG emission reduction impact

3333

PIR: Basic Data

0

#REF!

Official Project Title:

New Project Title:

Project Summary:

PIMS Number: 3910 Countries: Atlas Award Number:

Atlas Project Number (s):

GEF Focal Area: Climate Change Mitigation

GEF 4 Focal Area: GEF 2 / 3 Operational Programme:

Project milestones and timeframe: Month Day Year

Pipeline entry OR PIF approval : 15-Jan-08 January 15 2008

GEF CEO endorsement/approval of project document date: 13-Aug-08 August 13 2008

Project Document Signature date: 5-Dec-08 December 5 2008

Date of First Disbursement: 15-Jan-09 January 15 2009

Planned Project Duration: 4

Original Planned Closing Date: 31-Dec-12 December 31 2012

Revised Planned[1] Closing Date: n/a n/a n/a

Date project manager hired: 20-Nov-08 November 20 2008

Date of operational closure in Atlas n/a n/a n/a

Planned date of operation closure in Atlas n/a n/a n/a

Date of financial closure in Atlas n/a n/a n/a

Planned date of financial closure in Atlas 31-Dec-13 December 31 2013

Is this the Final/Terminal APR/PIR? Select one: NoProject Supervision:

Date of Project Steering Committee meetings during reporting period: Project Evaluation:

Date Mid Term Evaluation carried out (if applicable): n/a n/a n/a

Planned date of Mid Term Evaluation: 31-Dec-10 December 31 2010

Date Final Evaluation carried out (if applicable): n/a n/a n/a

Planned date of Final Evaluation: 31-Dec-12 December 31 2012

Overall Rating of the project in the final evaluation by the project evaluator:

Project documentation and information: List documents/ reports/ brochures / articles that have been prepared about the project.

List the Website address (URL) of project.

Project contacts: National Project Manager/Coordinator Date

Name: Ms. Elena Rodina 29-Aug-09 August 29 2009

Email: [email protected]

Government GEF OFP[2] (optional)Name: Mr. Arstanbek Davletkeldiev, State Agency on Environmental Protection and Forestry

Email:

Executing Agency (optional)Name: Mr. Emilbek Abdykadyrov, State Agency on Architecture and Construction, National Project Director

Email:

Signature Click here to insert signature

Ms. Elena Rodina

[1] Please explain any entry here in section 8

Strategic Objective and

Add

3434

PIR: Reporting on performance

[1] This should describe the quantitative indicator[2] This should be a quantitative numerical value

Description Description of Indicator Baseline Level[4] Target Level at end of project Level at 30 June 2009Objective: Reduce energy consumption and

associated GHG emissions in Kyrgyzstan building sector

Average thermal energy consumption in new/renovated residential/public buildings

Thermal energy consumption on average: 140 kWh/m²

Thermal energy consumption for new code-compliant buildings reduced to an average of 100 kWh/m² (by about 30%)

Detailed roadmap toward development and implementation of a new performance-based building energy code starting from 2010 is agreed upon with the Government. Estimated energy savings from the new 2010 code average about 40% compared to existing building stock; savings from achieving Class B via programs and code revisions would average an additional 15 percent savings compared to bare compliance with the new code.

New building lifecycle CO2 emission 5,6 mln t CO2 eq 5,3 mln tCO2 or 267,000 tCO2 eq less than in baseline

N/a

Outcome 1: Outcome 1. Improved energy performance codes

Adoption of mandatory energy efficient building code and its regular updates implemented

Current code exists since 1998 without revisions; it does not provide for performance-based energy consumption standards

New performance-based EE code adopted in 2010 and updated by 2015

Draft of the Governmental Order on "Adoption of the new building code on thermal protection in buildings in 2010" has been prepared and road map for the introduction of new codes was agreed upon with GosStroy

Level of minimum mandatory thermal requirements for buildings

90-100 kWh/m² 10-20% decrease to 80 kWh/m² (or lower for larger multifamily buildings)

Recommendations and justification for the decrease of the minimum thermal energy requirements from 90-100 kWh/m² to 80 kWh/m² were prepared and form part of the new 2010 building code

Capacity of national authorities to design and regularly update advanced building codes

Absence of trained staff and tools

Calculation methodology to determine building energy consumption agreed, software obtained and staff trained in its application

Two trainings on advanced building codes were conducted in Osh and Bishkek for a total of 50 staff of the State Agency for Architecture and Construction and its territorial branches

Outcome 2: Outcome 2. Improved enforcement of mandatory energy efficiency building codes

Level of enforcement of new standards (% of new buildings)

Low levels of compliance: max. 10%

Compliance levels radically improved up to 80%

Baseline information on the current level of enforcement was collected, root causes for low compliance identifiedre and recommendations developed on their improvement

Capacity to assess building energy performance in line with new standards

Insufficient technological base and absence of trained personnel

Laboratories equipped by end of year 1; 20 staff from the Agency and University trained to undertake energy performance assessment by end of year 1

Technical specification for the required laboratory equipment prepared

Enforcement capacity for EE building code: trained staff, rules and procedures for building certification

Weak capacity of building inspectorate and lack of regulations/rules to ensure compliance check

Procedures for mandatory building certification system adopted and tested by year 2150 Building Inspectors trained in their application by end of year 3Building certification works by year 3

Analisys of the system of the certification of buildings and plans for implementation of Energy Passports as part of the new building energy code prepared

3535

PIR: “do and don’t”Description Description of Indicator Baseline Level Target Level at end of projectObjective: To remove barriers to energy efficiency in municipal heat and hot water supply systems in Kazakhstan and to lay the foundation for the sustainable development of these services taking into account local as well as global environmental considerations

Agreements on theimplementation of EE investments in pilot cities and other cities districts

Inadequateinvestments in energy efficiency

New projects initiated and financing leveraged for them at the amount of at least USD 10 million by the end of the project

DON’T: Оказана поддержка частной ЭСКО в Караганде (выделен грант), проведены консультации и оказана экспертная помощь в разработке договорно-правовой базы для запуска модели работы ЭСКО в Караганде. По модели ЭСКО реализован первый пилотный проект с участием средств частного капиталла и выделенных грантовых средств проекта. Подписан меморандум о сотрудничестве с Акиматом Карагандинской области по развитию модели ЭСКО, активизировавший внимание частного бизнеса к развитию энергосервисных услуг. В результате работы по меморандуму: а) в целом завершен процесс согласования модели ЭСКО для жилых зданий, б) региональная структура АО Центра модернизации ЖКХ в Карагандинской области начала работу по организации второй (муниципальной) ЭСКО в Карагандинской области (планируется привлечение средств в размере до 0,3-0,5 млн. долларов в проекты по энергосбережению на основе использования револьверного механизма). Акимат Алматы в рамках ранее подписанного меморандума с ПРООН ведет работу по привлечению заемных средств банков для реализации проектов для термомодернизации бюджетных зданий в размере до 2 млн. долларов США. Акимата Алматы выразил заинетерсованность в консультационной помощи со стороны проекта ПРООН в части подготовки ТЭО для реализации этой инициатив (реализация - конец 2010 года). В Астане подписан меморандум о сотрудничестве с образовательно-консалтинговой компанией "Туран Профи" для продвижения возвратных моделей финансирования ЭЭ проектов в секторе жилых зданий. Компания имеет планы создать профессиональную управляющую конмпнию для обслуживания жилых зданий в г. Астана и выполнить пилотные проекты по ЭЭ в жилых зданиях с привлечением собственного, заемного капитала и средств городского бюджета.

DO: Total investments in energy efficiency for heat and hot water supply - 3.5 mln US dollars financing in Astana, Karaganda, Almaty cities including: private investments for ESCO in Karaganda; Astana City Government to improving EE in district heating; investments to support pilot project implementation in apartment buildings in Astana; investments for energy audits in buildings, for training stakeholders.

3636

PIR: progress towards achieving project objectives

PLEASE DON’T: 1) Terms of References are prepared and the bid is open to choose an international

expert for …2) The project with its working group participate in the development of XXX.3) A workshop in XXX with representatives of XXX is conducted. The purpose of this

workshop - is to show the experience of XXXX.4) The terms of reference was prepared, a competition for the International expert was

announced5) Project Inception Phase identified new government priorities which might affect the

project's strategic direction as well as changes required adjustment of project activities to achieve planned project output completed. Inception Report is available. RRF adjusted accordingly.

6) Recruitment of IC to draft proposal on capacity building of XXX initiated. Contract with a consulting company to organize the study tour concluded, and study tour is planned for XXX

3737

PIR: Rating of Project Performance

2009 Rating Comments[6]National Project Manager/Coordinator: S – Satisfactory Project Progress towards Meeting Objective is satisfactory in accordance with approved annual work plan for

2009 year.Government GEF OFP[7] (optional):

Executing Agency (optional):

UNDP Country Office: S – Satisfactory From the CO point of view, during the reporting period, 7 months since the project starting, the Project team demonstrated high level of professionalism and was able to show a progress towards meeting a project objective. In addition, the Project managed to establish good and stable working relations with relevant government agencies and organizations, mayor's offices in Bishkek and Osh, and other project stakeholders which is very important in the initiation stage of the project implementation.

UNDP Regional Technical Advisor: S – Satisfactory Project progress towards meeting its key development objectives, i.e. reducing GHG emissions from building sector, is fully satisfactorily. Results from program activity during the inception period confirm the promising prospects of Component 1, i.e. the development of new performance-based energy-efficiency codes for buildings. The project has swiftly moved forward and produced a detailed roadmap toward implementation of a new performance-based building energy code in Kyrgyzstan based on analogous codes in Russia and other CIS countries with agreed date of its entry into force of January 2010. Estimated energy savings from the new 2010 code average about 40 percent compared to existing building stock (i.e. 10% above project target).Any progress with development of a new building energy code should be accompanied by aggressive program measures to support enforcement. Initial recommendations to inform program planning in this area and strengthen the oversight by the State Architectural-Construction Oversight Agency were developed by International Consultant. In particular, establishment and implementation of "Energy Passports," a system of documentation for energy performance of buildings, including mandatory demonstration of code compliance, as well as rating of design and operating energy performance relative to code-stipulated thresholds, have been included in the new 2010 Building Code. Defining and implementing these measures should be a priority of the project under Component 2 in the next year.Component 3 envisage demonstration of integrated building design in two new school buildings. However, economic crisis has dramatically curtailed new construction activity in Kyrgyzstan. State and private financing for construction of new schools, including the project's two planned pilot demonstration buildings embodying energy-efficient integrated building design, fell into serious jeopardy during the inception period. In the end, after much assessment and negotiation, it has been resolved that the pilot projects will be realized as stated in the project document, in Kyrgyzstan's two major cities, Bishkek and Osh. The mayor's offices of both cities have already begun to release funds to support design work by the UNDP team. For the Component 4, the development of new educational programs on energy efficiency, the project has built its closest partnerships with two major universities — the Kyrgyz-Russian Slavic University and the Isanov

Оценку нужно обосновывать (особенно хорошую оценку!)

3838

PIR: Reporting on progress in implementation

Project Outcomes Key Outputs this reporting periodOutcome 1 Outcome 1. Improved energy performance codes.

Analisys of the National building norms and standards in comparison with CIS building norms and standards and EU Energy Performance Buildings Directive was done by National work group in colloboration with International Advisor on building Energy EfficiencyAn Introductory training on the principles of Integrated Building Design and international best practices in EE Building regulation for PMU staff and staff of the State Agency on Architecture and Construction was prepared and delivered by International Advisor on Building Energy EfficiencyDraft of the new SNiP (Building norms and Standards) 23-01.2009 "Heat engineering in construction (Thermal protection of the buildings) " was prepared and approval procedure was initiatedNew additions and amendments on strengthening requirements to Energy Efficiency in Buildings in the Law on Energy Saving were agreed with appropriate agencies and submitted to Jogorku Kenesh (Parliament).

Progress in Project implementation this reporting periodList the 4 key outputs delivered this reporting period for each project Outcome

3939

PIR: Financial reporting

Name of Partner or ContributorNature of

Contributor[9]

Amount used in Project

Preparation

Amount committed in Project

Document[10]

Additional amounts committed after

Project Document Estimated Total Disbursement to

Expected Total Disbursement by

end of project(including the Private Sector) (PDF A, B, PPG) June 30, 2009

GEF Contribution GEF 0.90 0.07 0.90Cash Cofinancing – UNDP managed

UNDP (TRAC) UN Agency 0.05 0.01 0.05Cash Cofinancing – Partner Managed

In-Kind Cofinancing

Municipalities of the Osh and Bishkek cities 3.00 0.00 3.00State Agency on Architecture and Construction 0.10 0.01 0.10UN Agency 0.08 0.01 0.08

Total Cofinancing 3.23 0.03 3.23Total for Project 2009 4.13 0.09 4.13

[9] – Источник финансирования[10] – Данные из проектного документа

4040

PIR: Co-financing

Co financing IA own Government Other Sources Total Total

Type/Source Financing Financing Disbursement Mill US$ Mill US$ Mill US$ Mill US$ Mill US$ Proposed Actual Proposed Actual Proposed Actual Proposed Actual Proposed ActualGrant Credits Loans Equity In-kind Non-grant Instruments Other Types Total $0 $0 $0 $0 $0 $0 $0 $0 $0 $0

4141

PIR: PR and Lessons Learnt

Implementation commenced December 2008. Project Board was established. Work group of the five local experts was set up to refine the baseline data and

information with regard to energy use in buildings: normative-legal base and organizational support, education on all levels (technical-vocational lyceums,

universities, colleges, adjustment training systems for specialists); manufacturing capabilities in Kyrgyzstan. Training module on progressive norms and

standards on improvement of energy efficiency in buildings was prepared by the International Advisor based on the materials of the local experts group. Inception

report was prepared. Elaboration and adaptation of the normative-legal base in order to improve energy efficiency, on improvement of the legislative base on

energy efficiency and analysis of the certification system in international and national practice initiated. Documentary confirmation from the municipalities of the

Bishkek and Osh on construction of the pilot energy effective schools was received. Five articles covering information about Project’ Activities were published in

State Mass Media.

PRPlease summarize in 200 words the progress made this reporting period. This may be used for publication purposes.

- Привлекайте Специалиста по ПР из офиса/из Братиславы

4242

PIR: Climate Change Indicators

CC Performance Indicator Impact Metric 2009 Value

Annual CO2 reduction Emissions avoided (Mt CO2/year)[1] during PIR reporting period N/A

Cumulative CO2 reduction Emissions avoided (Mt CO2) since start of project N/A

Market transformation Number of markets that the project has influenced, developed or transformed 1

GEF 4 Strategic Objective 1: Energy-Efficient BuildingsEnabling policy environment Indicator 1: Drafting, adoption and enforcement of policies and legislative

measures contributing to enabling environments (Please rate on scale of 0 to 4, with 0 being no achievement of the outcome and 4 being complete achievement of all the steps.[2])

2

Energy savings Indicator 2: Quantity of Energy saved (toe saved or MWh saved or GJ saved) N/A

Project Metrics for Climate Change Indicators

1. Portfolio-level (all CC projects)

OP 5: Energy Efficiency

0= No standards are in place - may have been discussed;

1= Standards may have been discussed and formally proposed;

2= Standards have been formally proposed but not adopted;

3= Standards have been formally adopted, but have no enforcement mechanism; and

4= Standards are adopted, have enforcement mechanism, and sales of EE appliances or construction/retrofitting of EE buildings are on the upswing.

4343

PIR – практическое задание

1) Заполнить раздел ПИРа с отчетом о достижении целей

2) Представить результаты работы в группах

Часть V: Независимая оценка




• Руководство

• Процесс

• Содержание


4545

Независимая оценка: руководство

UNDP Evaluation Policy:

“Project evaluations assess the efficiency and effectiveness of a project in achieving its intended results. They also

assess the relevance and sustainability of outputs as contributions to medium-term and longer-term outcomes. Projects

can be evaluated during the time of implementation, at the end of implementation (terminal evaluation), or after a period of

time after the project has ended (ex-post evaluation). …. In UNDP, project evaluations are mandatory when required by a

partnership protocol, such as with the Global Environment Facility”

• Handbook on Planning, Monitoring and Evaluating for Development Results:

http://www.undp.org/evaluation/handbook/

• Русская версия:

http://www.undp.org/evaluation/handbook/Russian/pme-handbook-Russian.pdf

• Руководство по оценке проектов ПРООН-ГЭФ (НОВОЕ):

http://intra.undp.org/eo/gef/gef-evaluation-guidance.shtml

4646

Независимая оценка: руководство

GEF Evaluation Policy:

evaluation aims to “promote accountability for achievement of GEF objectives through the assessment of results,

effectiveness, processes, and performance of the partners involved in GEF activities…GEF results will be monitored and

evaluated for their contribution to global environmental benefits ”

Вовлечение GEF Operational Focal Points (GEF OFPs) в процесс оценки:

• «M&E Plan for all projects must now include a specification of how the project or program

will keep the OFP informed and, where applicable and feasible, involved in evaluation activities,

while respecting the independent nature of evaluations»

• «COs must ensure that OFPs are fully informed on the planning, conduct and results of midterm

and terminal evaluations. Where applicable, the OFPs should be briefed and de-briefed at the

start and end of evaluation missions.»

4747

Независимая оценка: процесс

Подготовка Исполнение Пост-оценка

4-5 месяцев 3 месяца 1 месяц

4848

Независимая оценка: подготовка

1) Включить планируемую оценку в План Оценки странового офиса:

Evaluation Resource Center

2) Включить планируемую оценку в годовой M&E план проекта,

предусмотреть бюджет

3) Подготовить ТОР (стандартный ТОР для среднесрочной и

финальной оценки: http://intra.undp.org/gef/programmingmanual/me_intro.htm)

«Before the ToR is finalized, it should be reviewed and commented on by

the GEF operational focal point and approved by the RCU»

4) Группа оценки: международный и национальный эксперт (никаким

образом не связанные с проектом!)

5) Объявление, отбор, найм (региональный ростер!)

6) Подготова программы оценочной миссии (делается оценщиками!)

http://intra.undp.org/gef/programmingmanual/me_intro.htm

4949


Пакет информации о проекте (подготовить и выслать оценщикам до

их приезда, как минимум за 2 недели)

•GEF Project Information Form (PIF), Project Document and Log Frame Analysis (LFA)•Project Implementation Plan• Implementing/executing partner arrangements•List and contact details for project staff, key project stakeholders, including Project Boards, and other partners to be consulted

•Project sites, highlighting suggested visits•Midterm evaluation (MTE) and other relevant evaluations and assessments•Annual Project Implementation Reports (PIR)•Project budget, broken out by outcomes and outputs•Sample of project communications materials, i.e. press releases, brochures, documentaries, etc.

Project documents

•Development Assistance Framework (UNDAF)•Country Programme Document (CPD)•Country Programme Action Plan (CPAP)

UNDP documents

•GEF focal area strategic program objectives

GEF documents

5050

Co financing IA own Government Other Sources Total Total

Type/Source Financing Financing Disbursement Mill US$ Mill US$ Mill US$ Mill US$ Mill US$ Proposed Actual Proposed Actual Proposed Actual Proposed Actual Proposed ActualGrant Credits Loans Equity In-kind Non-grant Instruments Other Types Total $0 $0 $0 $0 $0 $0 $0 $0 $0 $0


Финансовая отчетность из Атласа (delivery)

Статус со-финансирования (Таблица в ПИРе)

5151

Независимая оценка: исполнение

1) Продолжительность миссии: 10 дней – 2 недели

2) Команда проекта и страновой офис встречаются первыми с

группой оценки и НЕ ПРИСУТСТВУЮТ на дальнейших встречах

3) Полезно организовать заключительную встречу с командой

проекта и офисом ПРООН, чтобы оценщики могли представить

свои предварительные выводы и задать уточняющие вопросы

5252

Независимая оценка: работа с отчетом

1) Черновой вариант отчета должен быть представлен на

рассмотрение/комментарии в:

• Команда проекта

• Страновой офис

• Региональный центр (Братислава)

• GEF Operational Focal Point

• Членам Координационного Комитета

2) Оценщики должны представить заключительный отчет и “audit

trail”, показывающие как были приняты во внимание полученные

комментарии (прикладывается к отчету)

5353

Независимая оценка: пост-оценка

1) Подготовка и исполнение «Management Response»

2) После утверждение отчета страновым офисом и региональным

центром, отчет и «Management Response» помещается в PIMS (RCU)

и Evaluation Resource Centre (CO)

5454

Независимая оценка: советы по организации

1) Подготовка и представление презентации о проекте

2) Приглашение оценщиков на заседание Координационного комитета

3) Привлечение переводчика для работы с оценщиками (НЕ

ПРОЕКТНОГО АСИСТЕНТА!)

4) Уведомить и обсудить с партнерами проекта предстоящую оценку

(включая UNDP Resident Representative)

5) Обязательно: предусмотреть подготовку Executive Summary полного

отчета

6) Организовать семинар по результатам оценки

7) ВАЖНО: используйте момент среднестоимостной оценки, чтобы

«продвинуть» новые идеи и кардинальные изменения в проекте

8) Будьте ПРОАКТИВНЫМИ, но не нарушайте принцип НЕЗАВИСИМОСТИ

5555

Независимая оценка: содержание

1) Формулировка проекта

2) Ход реализации проекта

3) Предпосылки и риски

4) Финансовый менеджмент и со-финансирование

5) Качество надзора и исполнения проекта со стороны ПРООН и

Правительства

6) Качество мониторинга проекта

7) Вовлечение заинтересованных сторон

8) Adaptive management

9) Результаты проекта и его IMPACT

10)Соответствие национальным приоритетам и приоритетам ПРООН

11)Устойчивость результатов

5656

Независимая оценка: система оценки

Highly Satisfactory (HS): no shortcomings

Satisfactory (S): minor

Moderately Satisfactory (MS):moderate

Moderately Unsatisfactory (MU): significant

Unsatisfactory (U): major

Highly Unsatisfactory (HU): severe

5757

Rating Project PerformanceMonitoring and Evaluation CommentsOverall quality of M&E

M&E design at project start upM&E Plan Implementation

IA & EA ExecutionOverall Quality of Project Implementation/Execution

Implementing Agency ExecutionExecuting Agency Execution

Outcomes Overall Quality of Project Outcomes

RelevanceEffectivenessEfficiency

Catalytic Role Production of a public good yes/noDemonstration yes/noReplication yes/noScaling up yes/no

SustainabilityOverall likelihood of risks to Sustainability:

Financial resourcesSocio-economicInstitutional framework and governance

EnvironmentalOverall Project Results

5858

Независимая оценка: вопросы?

Часть VI: Мониторинг сокращения выбросов парниковых газов (ПГ)





6060

Мониторинг сокращения выбросов ПГ

MANUAL FOR CALCULATING GHG BENEFITS OF GEF PROJECTS: ENERGY EFFICIENCY AND RENEWABLE ENERGY PROJECTS : http://www.thegef.org/gef/node/313

Manual for Calculating Greenhouse Gas Benefits of Global Environmental Facility Transportation Projects: http://www.thegef.org/gef/GEF_C39_Inf.16_Manual_Greenhouse_Gas_Benefits

6161

Тип ожидаемого сокращения выбросов

Тип сокращения

ПГ

Прямые Прямые (после проекта)

Косвеные

Чем могут быть вызваны

Демонстрационный проект, реализованный в ходе проекта при со-финансировании ГЭФ

Инвестиционный механизм, созданный при поддержке ГЭФ, продолжающий действие после окончания проекта

Введение в действие новых норм, стимулов, стандартов, направленных на повышение энергоэффективности в зданиях

6262

Рассчет прямых сокращений =

Ежегодное сокращение потребления

энергии (МВч, toe)

Средний срок службы

оборудования/технологии (лет)

Коэффециент сокращения

выбросов (тон СО2/ МВч)

X X

6363

Рассчет косвеных сокращений =

Прямые сокращения

Ожидаемый репликационыый

эффект

Косвеные сокращения в

течение 10 лет по окончании проекта

X =

Оценить технический потенциал

сокращения выбросов ПГ в секторе проекта

Оценить экономический

потенциал сокращения

выбросов ПГ в секторе проекта

Достижимый экономический и

технический потенциал (P10)

Снизу-вверх:

Сверху-вниз:

Коэффициент влияния ГЭФ

(экспертная оценка)=X

Косвеные сокращения в

течение 10 лет по окончании проекта

6464

Пример: Проект по энергоэффективности систем общественного освещения

Цель проекта: увеличить объем инвестиций в ЭЭ системы

освещения на 60% по сравнению с базовым сценарием:

1) Демонстрационные проекты (прямой эффект)

2) Пропаганда, консультации, распространение информации, образование, реклама (косвенный эффект)

6565

Шаг 1: Рассчет прямого эффекта

1) Общие инвестиции в демонстрационные проекты: US$2.6 млн

2) По оценкам проекта на каждый 1$ - 1 kWh: 2,635 MWh в год

3) Ежегодные сокращения получаем, умножая на коэффециент

сокращения выбросов (тон СО2/ МВч): 2 661 т СО2/год

4) Общие прямые сокращения получаем, умножая на средний срок

службы ЭЭ оборудования/технологии (7 лет): ≈ 18 000 т СО2

6666

Дополнительная информация: средний срок службы оборудования, углеродные коэффициенты

Коэффециент сокращения выбросов : 1) Рассчитываем сами (district heating)

2) Используем данные Национального сообщения, Designated National Authority for CDM (Power grid factor)

3) Используем данные IPCC или национальные (если есть): коэффициенты по источникам топлива (уголь, мазут, нефть, газ)

6767

Шаг 2: Рассчет косвенного эффекта. Подход 1: внизу-вверх.

1) Формула рассчета: , где

• СО2 direct – прямые сокращения (18 000 т СО2)

• RF – репликационный фактор

2) Репликационный фактор: экспертая оценка или рекоммендации ГЭФ:

3) В нашем примере используем 1.5, получаем общие коссвенные

сокращения ≈ 30 000 т СО2

6868

Шаг 2: Рассчет косвенного эффекта. Подход 2: сверху-вниз

1) Формула рассчета: , где

• СО2 TM – рыночный потенциал сокращения выбросов ПГ в секторе

• СF – Коэффициент влияния ГЭФ (causality factor)

2) Рыночный потенциал сокращения выбросов (10 лет)

ьтиьтит3) Общий рыночный потенциал (с учетом срока службы оборудования):

4) Коэффициент влияния ГЭФ:

экспертная оценка: 0,2 – 1,0

5) Общие коссвенные сокращения

≈ 33 000 т СО2

6969

Пример: Результаты

Тип сокращений т СО2Э

Прямые 18 000 т СО2

Косвенные (сверху-вниз) 30 000 т СО2

Косвенные (снизу-вверх) 33 000 т СО2

ИТОГ 48 000 - 51 000 т СО2

7070

Подготовить и регулярно обновлять модель (Excel) для мониторинга

сокращений выбросов проектом

Представить результаты вместе с ПИРом

Follow-up action 4

Часть VII: Мониторинг социально-экономических

результатов





7272

Каковы основные социально-экономические результаты проектов

по энергоэффективности/возобновляемой энергетике и как мы

можем обеспечить их мониторинг???

Обсуждение – 20 минут

Социально-экономический

эффект (максимум 2 по каждому типу)

Показатель Способ измерения

7373

Прямые рабочие места:- «Созданные» на средства, потраченные проектом;- Для мониторинга необходима информация от подрядчиков

Косвенные рабочие места:

- Через инвестиции привлеченные в данную отрасль

- Для мониторинга необходимы данные нац. Статистики или

специальные исследования (кол-во человеко-мест, созданных в

результате инвестиций 1 долл в определенный тип ЭЭ/ВИЭ

проектов)

Мониторинг «зеленых рабочих мест»

7474

Мониторинг «зеленых рабочих мест»Тип работ Тип

занятостиВремя(в часах/днях) оплаченное проектом ПРООН

Зарплата (в час/день)

Занятость мужчин (часы/дни)

Занятость женщин (часы/дни)

Занятость молодежи (часы/дни)

(15-24 года)

Установка ЭЭ оборудования

Инженеры 15 50 долл 10 5Skilled labour 15 15Unskilled labour

15 15

Администрация/управление

5 5

- Имеет ли смысл мониторить «зеленые рабочие места» в рамках

ваших проектов?- Возможно ли получение информация о «прямой» занятости от

субподрядчиков в представленном формате?

- Есть ли желание попробовать?

7575

Выбрать и продумать план мониторинга ОДНОГО социально-

экономического показателя проекта

Follow-up action 5

7676

Каковы основные социально-экономические результаты проектов

по энергоэффективности/возобновляемой энергетике и как мы

можем обеспечить их мониторинг???

Обсуждение – 20 минут

Социально-экономический

эффект (максимум 2 по каждому типу)

Показатель Способ измерения

Часть VIII: Завершительная стадия проекта или как

правильно «закрыть» проект





7878

1) Четко определиться со сроками завершения проекта, обсудить и

уведомить всех заинтересованных сторон (идеально в момент

средне-срочной оценки)

2) Продумать и представить координационному комитету «exit strategy»:- Передача информации, знаний, отчетов, оборудования- Другие элементы «устойчивость», в частности демо-проекты

3) Провести анализ результатов проекта и его уроков, ошибок, выводов и

представить в виде финальной публикации/отчета (и финального

ПИРа)

4) Подготовить и провести финальную оценку

5) Провести заключительный семинар/конференцию, желательно на

региональном и/или международном уровне

Основные шаги

Часть IX: Управление знаниями и PR





8181

1) Press-releases:

http://europeandcis.undp.org/environment/show/14A56CE3-F203-1EE9-

B690AB88AFF1B06F

2) Video story (Zoran – camera man):

http://www.youtube.com/user/UNDPEuropeandCIS

3) Web-sites:

http://www.nature-ic.am/

Communication

8282

1) Ежегодно в рамках ПИРа

2) В ходе среднесрочной и финальной оценки

3) Более детально в ходе заключительного этапа проекта:

- Финальная публикация

- Международная конференция

Анализ и представление результатов и уроков проекта

8383

1) On-line: e-mails, web-site (EE Buildings….)

2) Регулярные встречи, семинары (как этот), участие в мероприятиях,

организуемых другими проектами

3) Ваши идеи: ???

Обмен знаниями: «межпроектное» содрудничество

8484

1) Казахстан: конференция по ВИЭ (в рамках закрытия проекта по ветру)

2) Казахстан: начальный семинар по ЭЭ зданиям, траспорту, ЭЭ освещению

3) Турменистан: начальный семинар по ЭЭ зданиям

4) Другие предложения:

• ????

5) Community of Practice meeting: Bratislava, September-October 2011

Планы на 2011

Большое спасибо всем!!!





Monitoring and Evaluation of UNDP-GEF projects (Russian version of UNDP presentaiton)

Documents

Transcript of Monitoring and Evaluation of UNDP-GEF projects (Russian version of UNDP presentaiton)