После завершения очного 2-х дневного обучения в рамках проекта «Виртуальный ресурсный центр по оценке эффективности для организаций сферы детства» по программе «Оценка эффективности практик в сфере детства (с использованием Стандарта доказательности практик)» участники в качестве итогового задания описывали свои практики в соответствии с методологией Стандарта. В результате было описано 15 практик в сфере детства.
После выполнения задания были проведены дистанционные установочные обсуждения, в ходе которых участники поделились полученным опытом и сложностями, с которыми столкнулись в процессе описания практик, а также отметили существующие запросы, потребности в дополнительной поддержке.
Обобщив итоги обсуждений, можно выделить следующие ключевые трудности и вопросы, с которыми сталкивались организации в ходе описания свои практик в доказательном подходе:
— сложность в выделении и четком формулировании групп благополучателей практик, учитывая последующее определение результатов для каждой группы, предусмотренное форматом описания;
— важность разделения потребностей и проблем благополучателей (внутри отдельной группы);
— сложность оценки влияния практик (как выделить вклад практики в достижении результатов);
— небольшой охват благополучателей, в связи с чем полученные результаты выглядят «не значимыми»;
— не понятно, какие социальные результаты включать в формат описания практики (сколько их должно быть, какого уровня результаты включать);
— для некоторых организаций в процессе обсуждения стало понятно, что в описание практики не включены некоторые собранные данные, а также не учтены все методы и инструменты сбора данных в разделе описания, связанным с представлением доказательной базы;
— участники отмечали важность добавления дополнительных источников сбора данных (не только от прямых благополучателей, но их от ближайшего окружения, например);
— не понятен временной период, за который предоставляются данные в описании практики;
— сложности в описании механизма воздействия практики, который включает причинно-следственные связи между деятельностью и результатами практики;
— некоторые участники в процессе описания в целом задумались о границах практики, что именно они в своей деятельности определяют как практику;
— сложность сопоставления, связки исследований научных теорий с практикой;
— необходимо наличие некоторых методических компетенций для качественного описания практики.
Резюмируя, стоит отметить, что наибольшие трудности у организаций вызвали разделы формата описания, связанные с представлением данных о достижении социальных результатов и влиянии практики. Для нескольких организаций сложности вызвал раздел «Обоснованность практики». Участники также отметили
Запросы, потребности организаций с точки зрения повышения качества системы измерения и оценки результативности:
— необходимость CRM-системы для хранения и систематизации данных;
— поддержка в разработке дизайна исследования (для долгосрочных результатов);
— потребность в партнерстве, обмене опытом с организациями, работающих в общей социальной проблематике, в т.ч. для сравнения результатов практик;
— прояснение вопроса надежности, «строгости» получаемых данных при проведении оценочных прикладных исследований (в т.ч. вопрос необходимости и обоснованности использования контрольных групп) — через возможную научную экспертизу в партнерстве с ВУЗами;
— многие участники в процессе обсуждения обозначили потребность в индивидуальной методической поддержке в рамках проекта.
В дальнейших планах организаций – доработка цепочек социальных результатов и показателей к ним (в т.ч. составление деревьев результатов), разработка логических моделей программ, доработка описаний практик в целом — по полученным комментариям, аудит и систематизация данных о достижении социальных результатов.
_____________________________________________________
Проект «Виртуальный ресурсный центр по оценке эффективности для организаций сферы детства» реализуется АНО «Эволюция и Филантропия» при поддержке Комитета общественных связей и молодежной политики города Москвы и при стратегической поддержке Фонда Тимченко.