Итоги второго рабочего обсуждения 3-го потока слушателей онлайн-курса «Оценка программ в сфере детства»

На встрече разбирались содержательные вопросы по модулю «Планирование результатов и показателей (часть 1)», обратная связь участников по итогам прохождения модуля, организационные вопросы.

Во второй части обсуждения слушатели в мини-группах разбирали кейс – давали обратную связь на представленную цепочку социальных результатов.

Ключевые выводы и итоги:

1. Формулирование задач системы мониторинга и оценки:

Цели и задачи должны соотноситься с определением эффективности, мониторинговыми и оценочными вопросами.

Цель = зачем нужна система МиО + понимание того, какие данные собираются и для кого.

Рекомендация: при выстраивании системы МиО все время обращайтесь целям и оценочным вопросам. Это важно для того, чтобы оценить, дают ли собираемые данные необходимую информацию (ответы на поставленные вопросы). Избегайте размытых формулировок.

2) Анализ стейкхолдеров (ожидаемых результатов):

— Наличие собственной системы отчетности (перечень результатов и показателей) – это про требуемую отчетность со стороны стейкхолдеров. Бывает не всегда, но, например, некоторые доноры могут определять и запрашивать отчетность по значимым для них результатам (наравне с индивидуальными результатами организации). Некоторые слушатели поняли этот пункт как наличие определенной системы отчетности организации перед стейкхолдерами.

— Подотчетность – вовлечение стейкхолдеров во всех этапах реализации программы. Мнение (выбор) стейкхолдеров о том, какие результаты  программы надо планировать и оценивать. Важна прямая коммуникация со стейкхолдерами при сборе ожиданий.

— Не отражается информация о возможном негативном влиянии (в ожиданиях).

Рекомендация – применить анализ ожиданий ключевых стейкхолдеров к цепочке результатов – какие из ожиданий учтены и что делать с теми, которые нельзя учесть (в принципе или на данном этапе развития программы). Также важно включать возможность негативного влияния практики/программы.  

3) Цепочка социальных результатов практик:

— Непосредственные результаты – это не показатели! Формулировки непосредственных результатов не должны начинаться со слов «количество», «процент» и пр.

Количество оказанных услуг – это показатель непосредственного результата.

Непосредственные результаты связаны с процессом оказания услуг (промежуточные), с благополучателями (конечные).

— Важно включать результаты, связанные с оценкой качеством услуг – мало кто делает (в т.ч. удовлетворенность благополучателей).

Примеры:

Благополучатели удовлетворены своим состоянием после участия в программе

Родители удовлетворены полученной психологической помощью

Замещающие родители прошли курс полностью

— «Сложносочиненные» социальные результаты, включающие много разных составляющих — их лучше разбивать.

Пример:

Дети-сироты выходят из ДУ с лучшим состоянием здоровья (1), с большей степенью социализации (2), имеют шансы на семейное устройство (3)

Фактически в обозначенном примере 3 результата, которые лучше сформулировать как самостоятельные. Потом будет проще подобрать показатели.

— Слишком большая детализация деятельности (например, когда отражается каждое отдельное мероприятие) или наоборот, слишком крупные активности в ЦСР. Важен баланс и сонастроенность деятельности и результатов.

Пример:

Оказание социальной, медицинской помощи и юридической поддержки по проблемам детей-сирот – получение возмещений, получение ТСР, консультации врачей, помощь психолога

Разделение этих типов услуг уместно, т.к.  скорее всего есть разные результаты, связанные с этими типами деятельности/услуг.

— Социальные результаты лучше формулировать, исходя из ожидаемых изменений благолучателей

Примеры:

Дети-сироты перестают рассматриваться сотрудниками ДУ как безнадежные, не стоящие того, чтобы с ними заниматься (какое изменение целевой группы в этом результате?)

— Если ЦСР в табличной форме, то иногда не видны «пробелы» в промежуточных СР, которые, например, можно выявить в дереве результатов.

Если вам необходимо выстроить общую логику программы — решение – Дерево результатов. Не забывайте про данный инструмент.

Помогает выстроить общую логику также разделение социальных результатов на краткосрочные, среднесрочные.

— При разделении краткосрочных и среднесрочных результатов иногда встречается «дублирование» или спорное разделение — в этом лучше фиксировать сроки достижения результатов, тогда это поможет более точно их конкретизировать. Но! Важно, чтобы это разделение не было искусственным – «лишь бы заполнить». Подбирайте удобные для вас форматы ЦСР. Нет правильных и неправильных вариантов. 

Презентация доступна по ссылке.

Организационные моменты по прохождению курса:

• Большая просьба заполнять анкеты обратной связи – для нас это возможность сделать курс лучше!
• Не забывайте заполнять план рефлексии и внедрения на протяжении всего курса – это ваше итоговое задание

Онлайн курс «Оценка программ и проектов в сфере детства» подготовлен в рамках проектов АНО «Эволюция и Филантропия» «Виртуальный ресурсный центр по оценке эффективности для организаций сферы детства», который реализуется на средства гранта Комитета общественных связей и молодежной политики города Москвы  и «Онлайн-курс по оценке проектов и программ в сфере детства», который реализуется на средства гранта Президента Российской Федерации на развитие гражданского общества. Стратегическую поддержку проектов осуществляет также Фонд Тимченко.