Оценка проекта: зачем и как

2018 года

углубить
Объяснить логику перехода от планирования результатов социального проекта к их

измерению
Помочь вам разработать первоначальный вариант системы показателей для оценки ваших проектов

секторе, мониторим общественное мнение о социальных проблемах


www.nuzhnapomosh/research
Информационная система «Если быть

точным» (при поддержке Благотворительного фонда В.Потанина; релиз – 2019 год)
11 исследований опубликовано на сайте
Ещё 3 ожидают публикации
Регулярно проводим внутренние исследования для нужд фонда
Помогаем в оценке эффективности социальных проектов сторонним заказчикам

о достигнутых результатах
Принятие решения
= оценка как инструмент управления проектом

Когда

оценочная деятельность охватывает всю деятельность НКО
= оценка как инструмент развития организации

А еще это про выявление ценности (evaluation) и принцип «не навреди»: принцип актуален для всех участников проекта, но в первую очередь, если работа ведется с социально-уязвимыми группами.

планируемых результатов проекта, задать базу для сравнения

Оценка потребностей
Цель: Определить приоритеты

планируемой деятельности – исходя из актуальности для целевых групп (или величины разрыва между желаемым и действительным положением дел)

Разработка и планирование проекта

Реализация и мониторинг

Завершение или развитие проекта

происходит
Проверить достижимость поставленных целей при текущем ходе проекта
Выявить возможности для

улучшения проекта

Разработка и планирование проекта

Реализация и мониторинг

Завершение или развитие проекта

Такие разные оценочные исследования

с первоначальным планом и определить причины расхождений
Выявить незапланированные эффекты
Определить необходимость

продолжения и возможности развития проекта
Оценка социального эффекта/воздействия (impact)
Цель: Зафиксировать изменение исходной ситуации и определить вклад проекта в это изменение

Разработка и планирование проекта

Реализация и мониторинг

Завершение или развитие проекта

Такие разные оценочные исследования

использовать её результаты, какие решения принимать

>>>Где брать данные?

достигнут (план vs факт, изменилось то, что должно было измениться)
Достигнутые

результаты адекватны вложениям (SROI)
Достигнутые результаты адекватны контексту (например, «не хуже чем у других», или benchmarking)

(групповые и индивидуальные интервью, анкетирование)
Насколько структурированно?
Насколько регулярно?

и экспериментальной групп, отобранных случайно
Пре- и пост-тест / лонгитюдное исследование

/ когортный анализ: изучение изменения состояния одной группы во времени
Ретроспективный анализ: поиск факторов, влияющих в прошлом, у одной группы (описание отдельного случая) или в сравнении двух групп (исследование случай-контроль)
Квази-эксперимент / исследование методом поперечных срезов: сравнение двух групп, отобранных по подобию, в один момент времени

сильных к наиболее слабым доказательствам):
 Мета-анализ, систематический обзор
 Рандомизированные контролируемые

исследования (эксперимент)
 Когортные исследования
 Исследования случай-контроль
 Поперечные исследования (квази-эксперимент)
 Исследования на животных/ в пробирке
 Описание отдельных случаев, мнение экспертов

Ограничения при исследовании социальных явлений:
Социальная практика – не таблетка
Невозможно обеспечить лабораторную чистоту: всегда остается вероятность внешних факторов
Субъективность оценочных шкал: в граммах/ сантиметрах не измеришь
Риск социально-значимых ответов и влияния исследователя на результаты
Этический момент при проведении экспериментов (кто-то помощь не получит)

уже собираемой информации

Потом: какая еще информация доступна?
И наконец: обратная связь от благополучателей – как минимум, самооценка изменений. Более сложные методики: «индивидуальный план развития», тесты «до и после», лонгитюд

+ Принцип триангуляции обеспечивает надежность данных

https://www.etsy.com/listing/271433976/geometric-animal-art-blue-elephant

практическому заданию

группы, чьи интересы затрагивает проект

Кроме благополучателей, это:
Доноры
Попечители
Волонтеры
Партнеры
«Все причастные»

то, что осуществлено в рамках проекта.

Как измеряется (индикаторы):
наличием/отсутствием

каких-то фактов;
количеством проведенных мероприятий / оказанных услуг / выпущенных материалов / переданных вещей;
количеством людей, побывавших на мероприятиях/ получивших услугу / контактирующих с материалом / получивших вещи и др.

При разработке проекта часто задаются плановые значения показателей.

это изменения, которые преднамеренно и непреднамеренно произошли вследствие реализации проекта.

Как измеряется (индикаторы):
увеличением количества каких-то позитивных проявлений и/или уменьшением негативных;
долей стейкхолдеров, которые отметили влияние программы на их жизнь;
долей благополучателей, которые овладели навыками/умениями; развили какие-то качества, улучшили качество жизни, поменяли поведение и др.

Плановые значения могут не задаваться.

группе
2. Группа выбирает человека, который будет отвечать за методический

аудит
3. Группа заполняет таблицу в рабочей тетради
4. 20 минут на всю работу. После чего менеджер проекта презентует результаты
Главное правило обсуждения: все мнения выслушиваются, но окончательное решение – за менеджером проекта (ему с этим работать). При этом методолог может озвучить альтернативное предложение во время презентации результатов

Критерии качества показателя – в помощь методологу:
Достижимость (можно подобрать метод, данные доступны)
Устойчивость (при повторном измерении результат совпадет)
Релевантность (меряет то, что должен мерить)

краткосрочными, среднесрочными, долгосрочными (социальный эффект)
По каждому показателю: Периодичность сбора данных

| Ответственное лицо | Где хранятся | Где используются
Также можно задавать целевые значения показателей

Адаптировано с: www.socialvalue.ru

оценки:
Определяемся со стейкхолдерами и их ожиданиями
Формулируем результаты, которые хотим

достичь (будут разными для разных стейкхолдеров
Определяем показатели (индикаторы) достижения результатов, периодичность и методы измерения. Если возможно, задаем целевые значения
Распределяем ответственность за сбор (и анализ) данных
Договариваемся о периодичности встреч для обсуждения

- Джек Уэлч, американский предприниматель

кто?» = Страх сотрудников получить негативную обратную связь
«Нет времени разбираться,

надо дела делать» = Слишком много задач, требующих оперативного вмешательства
«И так все хорошо» = Неочевидность преимуществ

оценщика
Запуск объявляется официально - руководителем
Определить ответственного сотрудника и

дополнительно замотивировать его (например, через обучение)
Обсуждать-обсуждать-обсуждать!
Автоматизировать все, что может быть автоматизировано

А судьи кто? Нет времени И так всё хорошо

сделал:
Уточнили цели и задачи проекта
Улучшили качество оказываемой помощи/услуг
Улучшили качество отчетности

организации, составили "портфолио" - для привлечения новых партнеров и ресурсов
Поняли, что работает и почему; что не работает и почему
Это работает и на мотивирование и вдохновление сотрудников и привлечение волонтеров

//A Good Practice case study report: What good impact measurement looks like (Evaluation Support Scotland, 2013)

результаты и показатели - пожалуй, наиболее полная электронная библиотека методических

пособий по оценке
http://pion.org.ru/ ПИОН – «Профессиональное решение для всех, кто реализует программы в сфере защиты детства и профилактики социального сиротства. Приложение поможет подобрать результаты и показатели для мониторинга и оценки, а также наглядно представить логику программы»
http://ep-digest.ru Дайджест публикаций международного филантропического сообщества, где одна из регулярных тем – это оценка социальных проектов
http://www.ozenka.info - Ресурсы по оценке программ в сфере детства. Текущий важный проект: разработка стандарта доказательности практик в сфере детства (можно присоединиться к обсуждению)
http://www.eval.ru/ - Ассоциация специалистов по оценке программ и политик (АСОПП) проводит ежегодную конференцию по оценке (9-10 октября в 2018 году в Москве)
http://scisc.ru/ - МОО Сибирский центр поддержки общественных инициатив - «популяризаторы» (в хорошем смысле) оценочных исследований в Сибири
http://www.ceecis.org/remf/Service3/unicef_rus/module1/index.html - Онлайн-курс UNICEF по мониторингу и оценке (устаревший визуально, но не морально)

– широко используемая модель измерения социального эффекта и кейсы; важный

документ: A Practical Guide to Measuring and Managing Impact (2013)
https://iris.thegiin.org/ - каталог показателей социальных результатов
https://www.inspiringimpact.org/ - the place for online impact resources; a UK-wide collaborative programme, working with the charity sector to help organisations know what to measure and how to measure.

измерения и оценки программ в области социального сиротства: онлайн-сервис, экспертная

поддержка и вдохновляющие кейсы» Сборник кейсов – АНО «Эволюция и филантропия», 2017