29 сентября состоялось групповое обсуждение слушателей 3-го потока онлайн-курса по теме «Планирование показателей».
В мероприятии приняли участие 25 человек.
Встречу проводила Ольга Евдокимова, исполнительный директор АНО «ЭиФ», преподаватель курса.
В начале встречи были обобщены первые содержательные итоги курса – те ключевые темы и практические навыки, которые слушатели освоили с момента начала обучения:
- Что такое мониторинг и оценка, и зачем они в целом нужны. Практиковались в формулировании вопросов для мониторинга и для оценки;
- Как обстоят дела в мире и, главное, в России по теме оценки социальных программ; как разные акторы развивают и применяют оценку программ. Определили перспективные направления развития МиО в своих организациях в целом;
- Доказательный подход к оценке программ в сфере детства. Узнали (по желанию) уровень доказанности своей практики;
- Терминология. Сформулировали (в первом приближении), что такое эффективность программы и что такое социальный эффект программы);
- Какие шаги в целом надо предпринять, чтобы построить в своих организациях систему мониторинга и оценки. И начали строить эту систему — сформулировали цель и задачи для системы МиО;
- Как планировать результаты. Теория изменений. Логическая модель. Анализ стейкхолдеров. Определили уровень подотчетности перед стейкхолдерами;
- Какие виды результатов бывают. Как выбирать результаты для включения в свои системы МиО. Построили драфт цепочки социальных результатов;
- Определили к результатам (через оценочные вопросы) показатели.
Затем были рассмотрены сложные вопросы по теме выбора (определения) показателей к результатам разного уровня, разобраны тесты модуля, которые вызвали наибольшие трудности у слушателей.
Основные выводы и итоги:
- Терминология. Важно определиться с собственной терминологией и общими подходами. В организации (программе) должен быть единый подход к выбору показателей.
- Вопросы для формулировки показателей важны! Они помогают более точно сформулировать показатели, а также способствуют тому, что показатели максимально четко и конкретно отражают соответствующие результаты. Вопросы только про факт результата или про его различные аспекты, а не про то, что потом произойдет. Показатель прямо отвечает на вопрос.
- Количественные и качественные показатели. При формулировании показателя учитывайте его разные аспекты (количество, качество, масштаб, мнение благополучателей). Даже для так называемых «качественных показателей» вставляйте количественную/категориальную составляющую, там, где возможно. Название показателя обычно начинается со слов «число», «процент», «отношение», «частота», «доля» и т.п. То есть включайте сигналы и масштабы. Только так можно управлять программами.
- Показатели к промежуточным и конечным непосредственным результатам — это разные показатели.
- Исходные и целевые значения показателей. Эта тема не так полно разбирается в материалах курса, но важно формулировать эти значения (из собственного опыта, используя бенчмаркинг и пр.)
- Показатели качества, удовлетворенности благополучателей – включайте их в свою систему МиО.
- От клиента к программе. От стандартизированных методик к количественному подсчету. Важно обобщать до более высокого уровня результаты, полученные в каждом индивидуальном случае (в контексте одной семьи/клиента). Например, количество (доля) семей, выполнивших поставленные в плане сопровождения цели и пр. Формулировка зависит от инструмента.
- Причинно-следственные связи! Благополучатели могут оценить вклад программы в отмеченные ими результаты. При проведении опроса им может быть задан вопрос, «улучшилось ли их состояние с начала предоставления им услуги?» Если благополучателей, например, попросить оценить вклад программы в улучшение их состояния, в этом случае показателем результативности будет «процент клиентов, сообщивших об улучшении, которое они в значительной степени приписывают получению услуг».
Презентация доступна по ссылке.
В рамках групповой работы участники смогли обсудить учебный кейс. В задание слушателей входил разбор цепочки результатов и показателей (на предмет их корректности, в том числе исходя из сформулированных вопросов к результатам), а также сопоставление ожиданий стейхолдеров – нашли ли отмеченные ожидания место в ЦСР, сверка мониторинговых и оценочных вопросов – на предмет того, учтены ли эти ответы вопросы в тех обозначенных результатах и показателях.
Как отметили многие участники в обратной связи, анализируя опыт других, много приходит осознания про свои собственные проекты – возникают инсайты, что еще можно «докрутить», доработать.
Онлайн курс «Оценка программ и проектов в сфере детства» подготовлен в рамках проектов АНО «Эволюция и Филантропия» «Виртуальный ресурсный центр по оценке эффективности для организаций сферы детства», который реализуется на средства гранта Комитета общественных связей и молодежной политики города Москвы и «Онлайн-курс по оценке проектов и программ в сфере детства», который реализуется на средства гранта Президента Российской Федерации на развитие гражданского общества. Стратегическую поддержку проектов осуществляет также Фонд Тимченко.