28 июля состоялось групповое обсуждение слушателей второй группы онлайн-курса по модулю «Планирование результатов и показателей (часть 2)».
В мероприятии приняли участие 13 человек.
В начале встречи Ольга Евдокимова представила первые содержательные итоги курса – те ключевые темы и практические навыки, которые слушатели освоили с момента начала обучения:
- Что такое мониторинг и оценка, и зачем они в целом нужны. Практиковались в формулировании вопросов для мониторинга и для оценки;
- Как обстоят дела в мире и, главное, в России по теме оценки социальных программ; как разные акторы развивают и применяют оценку программ. Определили перспективные направления развития МиО в своих организациях в целом;
- Доказательный подход к оценке программ в сфере детства. Узнали (по желанию) уровень доказанности своей практики;
- Терминология. Сформулировали (в первом приближении), что такое эффективность программы и что такое социальный эффект программы);
- Какие шаги в целом надо предпринять, чтобы построить в своих организациях систему мониторинга и оценки. И начали строить эту систему — сформулировали цель и задачи для системы МиО;
- Как планировать результаты. Теория изменений. Логическая модель. Анализ стейкхолдеров. Определили уровень подотчетности перед стейкхолдерами;
- Какие виды результатов бывают. Как выбирать результаты для включения в свои системы МиО. Построили драфт цепочки социальных результатов;
- Определили к результатам (через оценочные вопросы) показатели.
Затем были рассмотрены сложные вопросы по теме выбора (определения) показателей к результатам разного уровня, разобраны тесты модуля, которые вызвали наибольшие трудности у слушателей.
Основные выводы и итоги:
- Важно определиться с собственной терминологией и общими подходами. В организации (программе) должен быть единый подход к выбору показателей. На обсуждении был также представлен один из подходов к определению качественных и количественных показателей, который не представлен в материалах курса.
- При формулировании показателя учитывайте его разные аспекты (количество, качество, масштаб, мнение благополучателей). Даже для так называемых «качественных показателей» вставляйте количественную/категориальную составляющую, там, где возможно. Название показателя обычно начинается со слов «число», «процент», «отношение», «частота», «доля» и т.п. То есть включайте сигналы и масштабы. Только так можно управлять программами.
- Формулировка показателя во многом зависит от источников информации и инструмента сбора данных.
- Не все важные социальные результаты можно измерить количественно. В системе измерения нужно предусмотреть включение в отчеты о социальных результатах данные, которые носят исключительно описательный характер. Такие данные должны подтверждаться как можно большим числом свидетельств.
- Необходимо быть готовыми адаптироваться к требованиям финансирующих сторон.
Более подробно смотрите в презентации.
В рамках групповой работы участники смогли обсудить и проанализировать 2 примера цепочек социальных результатов, включающих показатели к разным уровням результатов. Как показало обсуждение, формулирование вопросов к результатам помогает более четко подобрать показатель; чем более сложно сформулирован результат, тем сложнее к нему подобрать прямой показатель – в этом случае все же приходится «разбивать» один результат на несколько, либо формулировать несколько показателей. Нередко приходится пересматривать связки «результат-показатель».
Также в рамках дискуссии обсуждался вопрос определения периодов достижения результатов, выстраивания рамки показателей в программах, работающих в методиках кейс-менеджмента – когда, например, деятельность цикличная и сопровождение осуществляется непрерывно. Во многом это зависит не от системы МиО, а от самого дизайна программы.
Онлайн курс «Оценка программ и проектов в сфере детства» подготовлен в рамках проектов АНО «Эволюция и Филантропия» «Виртуальный ресурсный центр по оценке эффективности для организаций сферы детства», который реализуется на средства гранта Комитета общественных связей и молодежной политики города Москвы и «Онлайн-курс по оценке проектов и программ в сфере детства», который реализуется на средства гранта Президента Российской Федерации на развитие гражданского общества. Стратегическую поддержку проектов осуществляет также Фонд Тимченко.