Краткие итоги 3-го обсуждения слушателей курса «Оценка проектов и программ в сфере детства»

28 июля состоялось групповое обсуждение слушателей второй группы онлайн-курса по модулю «Планирование результатов и показателей (часть 2)».

В мероприятии приняли участие 13 человек.

В начале встречи Ольга Евдокимова представила первые содержательные итоги курса – те ключевые темы и практические навыки, которые слушатели освоили с момента начала обучения:

  • Что такое мониторинг и оценка, и зачем они в целом нужны. Практиковались в формулировании вопросов для мониторинга и для оценки;
  • Как обстоят дела в мире и, главное, в России по теме оценки социальных программ; как разные акторы развивают и применяют оценку программ.  Определили перспективные направления развития МиО в своих организациях в целом;
  • Доказательный подход к оценке программ в сфере детства. Узнали (по желанию) уровень доказанности своей практики;
  • Терминология. Сформулировали (в первом приближении), что такое эффективность программы и что такое социальный эффект программы);
  • Какие шаги в целом надо предпринять, чтобы построить в своих организациях систему мониторинга и оценки. И начали строить эту систему — сформулировали цель и задачи для системы МиО;
  • Как планировать результаты. Теория изменений. Логическая модель. Анализ стейкхолдеров. Определили уровень подотчетности перед стейкхолдерами;
  • Какие виды результатов бывают. Как выбирать результаты для включения в свои системы МиО. Построили драфт цепочки социальных результатов;
  • Определили к результатам (через оценочные вопросы) показатели. 

Затем были рассмотрены сложные вопросы по теме выбора (определения) показателей к результатам разного уровня, разобраны тесты модуля, которые вызвали наибольшие трудности у слушателей.

Основные выводы и итоги:

  • Важно определиться с собственной терминологией и общими подходами.  В организации (программе) должен быть единый подход к выбору показателей. На обсуждении был также представлен один из подходов к определению качественных и количественных показателей, который не представлен в материалах курса.
  • При формулировании показателя учитывайте его разные аспекты (количество, качество, масштаб, мнение благополучателей). Даже для так называемых «качественных показателей» вставляйте количественную/категориальную составляющую, там, где возможно. Название показателя обычно начинается со слов «число», «процент», «отношение», «частота», «доля» и т.п.  То есть включайте сигналы и масштабы. Только так можно управлять программами.
  • Формулировка показателя во многом зависит от источников информации и инструмента сбора данных.
  • Не все важные социальные результаты можно измерить количественно. В системе измерения нужно предусмотреть включение в отчеты о социальных результатах данные, которые носят исключительно описательный характер. Такие данные должны подтверждаться как можно большим числом свидетельств.
  • Необходимо быть готовыми адаптироваться к требованиям финансирующих сторон.

Более подробно смотрите в презентации.

В рамках групповой работы участники смогли обсудить и проанализировать 2 примера цепочек социальных результатов, включающих показатели к разным уровням результатов. Как показало обсуждение, формулирование вопросов к результатам помогает более четко подобрать показатель; чем более сложно сформулирован результат, тем сложнее к нему подобрать прямой показатель – в этом случае все же приходится «разбивать» один результат на несколько, либо формулировать несколько показателей. Нередко приходится пересматривать связки «результат-показатель».

Также в рамках дискуссии обсуждался вопрос определения периодов достижения результатов, выстраивания рамки показателей в программах, работающих в методиках кейс-менеджмента – когда, например, деятельность цикличная и сопровождение осуществляется непрерывно. Во многом это зависит не от системы МиО, а от самого дизайна программы.

Онлайн курс «Оценка программ и проектов в сфере детства» подготовлен в рамках проектов АНО «Эволюция и Филантропия» «Виртуальный ресурсный центр по оценке эффективности для организаций сферы детства», который реализуется на средства гранта Комитета общественных связей и молодежной политики города Москвы  и «Онлайн-курс по оценке проектов и программ в сфере детства», который реализуется на средства гранта Президента Российской Федерации на развитие гражданского общества. Стратегическую поддержку проектов осуществляет также Фонд Тимченко.

Share
Метки: , , , ,