21 февраля состоялась первая в 2023 году встреча участников сообщества специалистов-практиков в области оценки программ в сфере детства. Мероприятие проводилось совместно с Точкой кипения МГППУ. Как отметила в самом начале модератор встречи Ольга Евдокимова (АНО «Эволюция и Филантропия») — «Наша задача на сегодня — познакомиться с ключевыми результатами и планами в области мониторинга и оценки (МиО) и сформировать общую тематическую повестку на 2023 год». На встрече присутствовало более 100 специалистов сферы детства (включая тех, кто смотрел трансляцию на Youtube и Вконтакте).
Первая тема была посвящена доказательному подходу. Доказательный подход — является трендом и драйвером для развития социальных практик, особенно в сфере детства, где уже сложилась разветвленная эко-система, состоящая из множества акторов, среди которых сейчас на первый план, как отметила Ольга, «должны выходить ВУЗы, что и происходит в случае с МГППУ».
И выступление Татьяны Подушкиной, руководителя центра доказательного социального проектирования МГППУ, было посвящено итогам сотрудничества Центра, Агентства стратегических инициатив и Министерства просвещения РФ по развитию в 2022 году доказательного подхода (презентация). Татьяна отметила, что в рамках полученного гос.задания от Министерства Просвещения будет продолжена работа по верификации практик в соответствие со Стандартом доказательности и последующее их размещение на Смартеке АСИ в Реестре доказательных практик, а также проведена серия обучающих мероприятий и для экспертов и для разработчиков практик.
В рамках методической работы будет продолжена серия встреч, в частности, 1 марта в 13:30 состоится онлайн-семинар «Диагностические инструменты в технологии наставничества», на котором Вероника Нисоновна Ослон, профессор кафедры «Возрастная психология имени профессора Л.Ф. Обуховой» МГППУ, представит разработанный в рамках гос.задания диагностический комплекс, который может применяться в работе технологии наставничества. Зарегистрироваться для участия в мероприятии можно будет перейдя по ссылке: https://mgppu.ru/news/12021. Мы приглашаем участников тематической площадки «Социализация подростков и выпускников сиротских учреждений» и всех заинтересованных принять участие во встрече.
Подробная презентация работы Центра и Точки Кипения МГППУ состоится в середине марта, о чем будут дополнительные анонсы.
Далее участники встречи обратились к практическому опыту лидеров-НКО, активных участников сообщества. «Я хочу напомнить, что планы по включению Агентства стратегических инициатив (АСИ) в экосистему доказательности и по созданию на платформе Смартека Реестра доказательных практик, были озвучены около года назад на проектной сессии «Доказательные социальные практики в сфере детства: финансирование и масштабирование» , организаторами которой выступили АСИ, МГППУ, Фонд Тимченко, АНО «Эволюция и Филантропия» и Форум доноров. На этой сессии были представлены практики, получившие по итогам верификаций в 2021 году, когда эту инициативу возглавлял Фонд Тимченко, продвинутый уровень доказательности. И сегодня представители этих НКО кратко поделятся результатами того, чего они достигли за прошедший период и какие у них планы», — отметила Ольга Евдокимова, предваряя выступление следующих спикеров.
Елена Андреева и Антонина Попова (БФ «Волонтеры в помощь детям сиротам», (презентация)) рассказали о результатах развития программ Фонда в области МиО. В частности, в рамках проекта «Теплый дом» проведено исследование факторов результативности работы с мамами и их детьми на базе центра временного
пребывания. Кратко о предварительных результатах этого исследования коллеги уже рассказывали на встрече сообщества по анализу данных в августе 2022 года.
Для того, чтобы более подробно ознакомиться и с результатами и с методологией оценочного исследования, узнать про возможность бенчмаркинга похожих практик, мы приглашаем, особенно участников тематической площадки «Кризисные центры», на встречу 2 марта с 9.00 до 11.00. Регистрация по ссылке, более подробная программа будет в последующей рассылке.
Также среди результатов развития МиО в Фонде — автоматизация учета и хранения данных всех проектов программы «Профилактика социального сиротства»; развитие процессов и инструментария обратной связи от благополучателей. Коллеги являются еще одними из лидеров — поставщиков знаний в нашу базу «Слушай с Пользой!». Инструментарий и кейсы от них по ссылке.
Среди перспективных тем — мониторинг общественного мнения в отношении приемного родительства, его изменение в сторону более принимающего. Планирование и оценка адвокационных практик — будет одной из методологических тем на 2023 год.
Ирина Бобылева, аналитик Центра защиты прав и интересов детей и главный специалист-эксперт БФ «Расправь крылья!», рассказала о результатах и планах передачи практики «Технологии индивидуального сопровождения выпускников детских домов» вместе с разработанной системой МиО.
Елена Лянгузова (Региональная общественная организация родителей детей-инвалидов Кировской области «Дорогою добра») поделилась опытом настройки и поиска наиболее точного инструментария сбора данных от благополучателей.
После этого участники встречи ответили на вопрос о прогрессе в области МиО в своих организациях:
Опыт организаций лидеров — в области МиО подтверждает важность внешней методической поддержки, особенно на этапе становления системы, внутренней культуры, нацеленной на самосовершенствование и систематической многолетней командной работы над процессами МиО.
Далее повестка была посвящена доступности методической базы и экспертной поддержки для развития систем МиО. Тему представила Евдокимова Ольга, АНО «Эволюция и Филантропия» (презентация).
Ольга отметила, что основным фокусом внимания компании в 2023 году в рамках развития культуры и практик оценки в сфере детства явились: рост информированности, мотивации и компетенций специалистов-практиков за счет:
1)проведения онлайн-курса «Оценка программ в сфере детства», который в 2023 году закончило более 50 слушателей и который проводился при партнерстве с Благотворительным образовательным фондом Мархамат, что позволило выдать участникам удостоверения гос.образца о повышении квалификации в объеме 72 часов.
Ольга анонсировала открытие 6-го потока курса в начале апреля — «Пока мы не знаем окончательно всех деталей по поводу нового потока, но предварительную запись открыли». Запись и более подробная информация на сайте.
2) организации встреч сообщества практиков, в которых в 2023 году приняло участие более 200 участников;
Все записи и презентации встреч доступны по ссылке.
3) за счет наполнения методическим инструментарием и практическими кейсами онлайн-сервиса ПИОН (в библиотеках которого собрано около 50 логических моделей и деревьев результатов; более 20 социальных результатов и инструментов; более 60 кейсов; число пользователей — 80 человек) и сопряженной с ПИОНом по API базы знаний «Слушай с Пользой!», на которой предлагаются более 100 инструментов обратной связи от благополучателей сферы детства. Ольга отметила, что в 2023 году фокус внимания АНО «Эволюция и Филантропия» перейдет от роста доступности методической базы к росту ее востребованности. Также в 2022 году было сделано довольно много (28) информационных рассылок про различные анонсы и новации в области оценки, что способствовало росту информированности участников сообщества.
4) Экспертная поддержка в 2022 году проходила по запросам от участников, в частности, несколько раз, были проведены рабочие встречи по созданию проектов Теорий изменений; а также работала в пилотном режиме группа САД (статистический анализ данных).
Участникам встречи было предложено ответить на вопросы о доступности методической и экспертной поддержки:
«Результаты опросов, говорят, что задача с доступностью поддержки в целом решена, — отметила Ольга Евдокимова. — Для тех же, кто только начинает, напоминаю, на онлайн-сервисе ПИОН у нас есть форма записи на консультации (индивидуальные, групповые и пр.). В частности, сейчас проводятся консультации о включении расходов на МиО в бюджет грантовых заявок«.
Далее с краткой презентацией результатов и планов в области МиО выступили представители НКО, которые получили индивидуальную методическую поддержку от АНО «Эволюция и Филантропия» в рамках проекта «Оценка программ в сфере детства: развитие сообществ практиков».
Анна Хегай, БФ «Бюро добрых дел» (Москва) (кейс) выделила распространение системы МиО на другие программы Фонда и особо остановилась на исследовании стратегий трудоустройства выпускников детских домов. «У нас довольно интересная технология, сначала был качественный этап, в результате которого мы выявили несколько факторов, влияющих на успешное трудоустройство. Сейчас идет количественный этап, а на выходе мы надеемся в том числе получить конкретные психологические и социальные показатели, которыми будем измерять эффективность нашей программы.» Результаты исследования будут в конце мая презентованы заинтересованным коллегам.
Анна попросила коллег, кто работает с практиками трудоустройства, заполнить небольшую анкету: опрос
Людмила Нам, АНО «Центр помощи семьям детей с ограниченными возможностями здоровья «Содействие» (Ростовская обл.) (кейс) представляла систему МиО на Всероссийской конференции и рассказала, что «работа идет по плану, сделали 3-й замер. Сейчас приступили к разработке логической модели оценки для программы «Я в группе».»
Гульнара Данильченко , БФ «Звезда» (Казань) (кейс) выделила необходимость постоянных изменений в различных элементах МиО и полезность сбора обратной связи как от специалистов, так и от родителей. Основная задача на 2023 года — визуализация получающихся данных.
Продолжая встречу, Ольга Евдокимова отметила, что АНО «Эволюция и Филантропия» не перестает систематически изучать передовой международный опыт в области оценки и старается определять ключевые методологические аспекты, которые требуют развития на уровне сектора. «Так было и с Теорией изменений, которую мы привнесли в РФ в 2010 году, а сейчас уже это относительно известная практика. Теорией изменений мы продолжили заниматься и в 2022 году, углубляясь в тему «предположений и допущений», а также применяя нехитрые IT-инструменты для того, чтобы ТИ не оставалась просто картинкой, как это часто пока происходит». Также Ольга отметила такие важные методические аспекты как формулирование оценочных вопросов и составление технических заданий. Все эти вопросы требуют пристального внимания оценщиков и могут быть предметом обсуждения на самых различных экспертных площадках, которые в последнее время появляются как ответ на возрастающий спрос на оценку.
Одну из таких площадок представил Владимир Балакирев («Процесс-Консалтинг»), это Клуб PROОЦЕНКУ , в рамках которого обсуждаются различные методологические темы, связанные с оценкой программ, и проводится периодическое обучение.
Продолжая тему важности Теории изменений, выступила Анастасия Декина, БФ развития сопровождаемого трудоустройства Всё получится!», Санкт-Петербург, (презентация) и сразу пригласила всех заинтересованных лиц принять участие в обсуждении Теория изменений (ссылка) Фонда, которая пройдет 27 февраля. Приглашение на инфо-сессию (ссылка). Анализ пилотного интервью с благополучателями (ссылка). Анастасия поделилась планами развития МиО на 2023 год, среди которых , в частности, доработка инструментария для сбора обратной связи от благополучателей и разработка Положения о системе МиО. Всеми этими материалами Фонд планирует делиться с сообществом.
Далее выступили представители пилотной группы САД (Статистический анализ данных). Ольга Заводилкина, эксперт-консультант АНО «Эволюция и Филантропия», куратор группы, презентовала сводные итоги работы двух пилотных групп (презентация) и анонсировала набор на следующий поток, который начнется 10 марта. Анкета для участия в следующей группе САД (ссылка). Более подробно, как работает группа можно посмотреть в записи. Марина Ушакова, руководитель МБУ Центр «Акварель» г. Челябинска (презентация), кратко представила получившиеся в результате участия в группе выводы. В частности, Марина отметила, что участие в группе должно быть командным; участники группы должны владеть базовыми компетенциями в области МиО; группа должна оставаться немногочисленной для сохранения возможности индивидуальных консультаций. В заключении Марина сказала: «Традиционно обучение в этой группе было очень сложным, но мы со всем справились в итоге».
Представление практического опыта НКО завершил Александр Боровых, директор отдела стратегий БФ «Даунсайд Ап» (Москва), который кратко рассказал о методологии и результатах оценки вклада фонда в достижение социальных результатов для благополучателей (презентация). Подробно об этом исследовании коллеги уже рассказывали на конференции АСОПП. «Это очень интересное оценочное исследование, с хорошей аналитикой и дизайном. Оно безусловно заслуживает того, что его отдельно обсудить. И методологию и результаты»,- считает Ольга Евдокимова.
22 марта с 9.00 до 11.00 (мск) мы приглашаем участников тематической площадки «Семьи с особыми детьми» и всех заинтересованных принять участие в онлайн-встрече по обсуждению этого исследования. Регистрация по ссылке. Более подробный план будет разослан позднее.
Заключительной частью мероприятия стали выступления представителей донорских организаций.
Эльвира Гарифулина, программный директор фонда «Абсолют-Помощь», представила систему МиО Фонда, ее ключевые элементы, особенности сбора отчетности от грантополучателей (презентация). Эльвира заметила, что мониторинг и оценка — это обязательная часть и основа для формирования доверия к помогающим организациям со стороны благополучателей, доноров, государства.
Резюмируя итоги дискуссии, Ширшова Инна, руководитель направления “Инклюзивная среда» БФ Сбербанка «Вклад в будущее» отдельно отметила важность темы оценки рисков, в том числе и при реализации доказательного подхода. В 2022 году Фонд при участии АНО «Эволюция и Филантропия» и ряда независимых экспертов разработал Методику прогностической оценки решений с учетом социальной значимости, в которой было особое место уделено теме управления рисками.
Также Инна выделила ряд ключевых драйверов для развития доказательного подхода — должен быть запрос внутри организации на саморефлексию и развитие; должна быть сонастройка образа результата между донором и грантополучателем и путей его достижения. Реализация доказательного подхода требует определенных компетенций, которые надо приобретать и которым внутренняя организационная культура должна давать возможность применения. Еще одна точка роста — валидные и чувствительные инструменты сбора данных и научные исследования.
В заключении выступила Элина Илларионова (eillarionova@timchenkofoundation.org), руководитель аналитической службы Фонда Тимченко (презентация) с предложением по развитию Индекса детского благополучия. В частности, можно использовать разработанный инструментарий для опросов детей и родителей и в перспективе получать бенчмарки, о которых несколько раз говорили на встрече.
Участникам было предложено ответить на вопрос:
Благодарим всех спикеров и участников.
Видео-запись доступна по ссылке.