За отчетный период реализации проекта завершили прохождение 3-й поток слушателей онлайн-курса «Оценка проектов и программ в сфере детства». Всего с сентября по октябрь 2020 г. (3-й поток) онлайн-курс окончило 46 человек — специалисты и руководители организаций сферы детства. Из них — 18 московских участников, 28 представителей региональных организаций (16 регионов). Проведены групповые обсуждения (консультации) по вопросам мониторинга и оценки (всего 3 онлайн-обсуждения) за текущий период, в которых приняли участие в общей сложности 72 чел. Проведен итоговый круглый стол, на котором подведены итоги прохождения онлайн-курса. Проведена оценка 3 потока курса: внутренняя оценка через проведение анкетирования участников, входного и итогового тестирования, анализа итогов групповых обсуждений и внешняя оценка проекта (результаты представлены по ссылке: https://clck.ru/SNgy7). По итогам проведенной оценки удалось выявить сильные стороны и точки роста в развитии курса (с точки зрения процесса и содержания), практическую ценность для участников, динамику роста уровня их знаний и компетенций, влияние факторов на внедрение участниками мониторинга и оценки в деятельность организаций и пр.
по вопросам мониторинга и оценки (всего 3 онлайн-обсуждения) за текущий период, в которых приняли участие в общей сложности 72 чел. Проведен итоговый круглый стол, на котором подведены итоги прохождения онлайн-курса. Проведена оценка 3 потока курса: внутренняя оценка через проведение анкетирования участников, входного и итогового тестирования, анализа итогов групповых обсуждений и внешняя оценка проекта (результаты представлены по ссылке: https://clck.ru/SNgy7). По итогам проведенной оценки удалось выявить сильные стороны и точки роста в развитии курса (с точки зрения процесса и содержания), практическую ценность для участников, динамику роста уровня их знаний и компетенций, влияние факторов на внедрение участниками мониторинга и оценки в деятельность организаций и пр.
Проведены онлайн-семинары в рамках тематических групп, которые объединяют специалистов, работающих по схожим практикам — Семьи с детьми с ОВЗ; Социализация подростков/ выпускников сиротских учреждений, семинар «IT-технологии для оценки социальных результатов». Всего в мероприятиях приняло участие не менее 80 специалистов. По итогам проведения мероприятий распространены методические материалы, составлены и распространены аналитические отчеты, написана статья «IT-технологии для оценки социальных результатов» для дальнейшего размещения в журнале «Филантроп».
Проведены презентации проекта, включая информирование о результатах, представление IT-ресурсов, создаваемых в рамках проекта — на 3-х региональных площадках в Кирове, Тамбове, Санкт-Петербурге, на семинаре «IT-технологии для оценки социальных результатов». С целью информирования о проекте создан промо-ролик к онлайн-курсу (https://yadi.sk/i/1ZjYYz1qsHo9wA), пакет информационных материалов (лого, инфографика, презентация), лендинговая страница (http://proj5.vh413286.eurodir.ru/). Данные ссылки были актуальны на момент сдачи отчета. Сейчас лэндинговая страница курса с промороликом расположена по адресу:https://edu.socialvalue.ru/
Доработан функционал онлайн-сервиса ПИОН (https://pion.org.ru/): разработаны и постоянно пополняются библиотеки логических моделей, деревьев результатов социальных практик; создана библиотека социальных результатов и показателей; интегрирована в сервис онлайн-база методов и инструментов сбора обратной связи «Слушай с пользой!»(https://base.socialvalue.ru/). Участники проекта имеют возможность создавать/проектировать собственные логические модели практик и планы мониторинга (через создание личных кабинетов). Это способствует развитию и закреплению наработок в области МиО, распространению опыта, сервис также обеспечивает возможность бенчмаркинга. Количество пользователей сервиса — не менее 35. Визуализация конструкторов анкет обратной связи онлайн-базы «Слушай с пользой!» — данный функционал сервиса позволяет создавать собственные инструменты сбора обратной связи от благополучателей на основе имеющихся шаблонов; визуализация отчета о результатах самодиагностики для организаций на предмет определения уровня зрелости процессов сбора обратной связи.
Организованы рассылки, размещены публикации по проекту, не менее 22 рассылок и публикаций.
Количественные результаты
| Наименование | показатель |
| Количество специалистов НКО сферы детства – участников проекта (с учетом информационных рассылок), не менее | 200 |
| Количество регионов-участников, не менее | 20 |
| Запущен онлайн-курс по теме оценки эффективности и повышения доказательности практик, применяемых в сфере детства, ед. | 1 |
| Количество специалистов НКО, прошедших не менее 50% онлайн-курса | 102 |
| Количество информационных рассылок и публикаций о проекте | 49 |
| Аудитория ( общий охват), получившая информацию о проекте ( публикации, рассылки и пр), участвующая в различных мероприятиях и пр | 500 |
| Количество участников тематических групп (специалистов НКО сферы детства), не менее | 100 |
| Количество тематических групп, не менее | 4 |
| Процент опрошенных участников проекта, повысивших уровень информированности и компетенций по теме оценки, не менее | 70 |
Основные качественные результаты
1) У участников проекта — руководителей и и специалистов организаций сферы детства, повысился профессионализм и компетенции в области мониторинга и оценки (МиО) социальных программ — за счет прохождения практикоориентированного онлайн-курса, участия в групповых консультациях по темам мониторинга и оценки, в тематических группах проекта. 106 слушателей завершили прохождение онлайн-курса «Оценка проектов и программ в сфере детства» (из них 12 руководителей), 52 организации (20 регионов). О росте профессионализма и компетенций говорят результаты проведенной внешней оценки, обратная связь от участников, собираемая по итогам прохождения онлайн-курса, а также результаты входного и итогового тестирования участников. Анкетирование участников говорит о наличии потребности, заинтересованности участников в дальнейшем развитии, постоянном совершенствовании навыков. https://ep.org.ru/?p=9356
2) Групповая работа содействует установлению связей, формированию партнерства между организациями/специалистами, углублению знаний в области МиО и мотивации их использования на практике. Более 100 специалистов приняли участие в работе тематически групп, семинаров. По обратной связи участников можно сделать вывод о том, что обсуждаемые темы и вопросы в области МиО находят широкое применение в практике.
3) Для НКО, доноров, экспертного сообщества и иных организаций сферы детства повысилась доступность методических материалов по теме оценки в сфере детства благодаря участию в практических семинарах проекта, по итогам которых были распространены материалы, включая аналитические отчеты. Общее количество участников -не менее 200 чел., общий охват аудитории (с учетом рассылок, публикаций)- не менее 500 чел. В среднесрочной перспективе у организаций (при систематическом внедрении полученных знаний и практик мониторинга и оценки) будет улучшатся качество их деятельности, масштабы социальных результатов для благополучателей, что конечном итоге позитивно скажется на благополучии детей и семей.
Оценка результатов реализации проекта, в том числе полученного социального эффекта
Цель проекта — повышение эффективности деятельности СО НКО, реализующих программы в сфере детства, за счет тренировки специалистов в рамках онлайн-курса по оценке эффективности практик, применяемых в сфере детства. Цель была полностью достигнута. Более 100 участников завершили прохождение онлайн-курса (52 организации), отзывы и высокие оценки (https://ep.org.ru/?p=9130;https://ep.org.ru/?p=9363) со стороны слушателей (свидетельствуют о его востребованности и актуальности, применимости в практическом плане. О росте профессионализма и компетенций говорят результаты проведенной внешней оценки, обратная связь от участников, результаты входного и итогового тестирования, собираемая по итогам прохождения онлайн-курса (в т.ч. через анкетирование). Около 200 участников принимали участие в тематических семинарах проекта, посвященных обсуждению различных вопросов мониторинга и оценки социальных практик в сфере детства, изучению практического опыта организаций. По обратной связи участников можно сделать вывод о том, что обсуждаемые темы и вопросы в области МиО находят широкое применение в практике. Социальный эффект проекта, а именно, повышение качества социальных программ и устойчивости социального воздействия, в полной мере проявятся в среднесрочной и долгосрочной перспективе у организаций, которые будут поддерживать и развивать приобретенные навыки, внедрять практики мониторинга и оценки с вою деятельность. . Сейчас можно говорить о социальном воздействии проекта на целевую группу (см. описание качественных результатов проекта). Мы планируем продолжать развивать и распространять опыт, масштабируя, таким образом результаты проекта, заинтересованы в дальнейшей поддержке организаций по внедрению полученных знаний и компетенций в рамках реализации проекта, организации тематических площадок по обсуждению практического опыта, о чем есть запрос и со стороны самих участников (по результатам проведенного анкетирования, около 30 организаций). Кроме того, укреплению устойчивости результатов для организаций способствует возможность использования It-сервиса (онлайн-сервис ПИОН: планирование, измерения и оценка социальных результатов) для развития и закрепления наработок в области МиО, проектирование систем МиО для новых проектов и программ, сервис также обеспечивает возможность бенчмаркинга, обращения к опыту коллег, что также является определенным фактором устойчивости.
Наличие и характер незапланированных результатов реализации проекта
Оказаны дополнительные консультации некоторым участникам проекта (по запросу) на этапе занесения логических моделей программ в онлайн-сервис ПИОН; в рамках партнерства с организацией — участником проекта запланированы внутренние тренинги по МиО в 2021 году руководителей и специалистов программ (около 15-20 человек). Внедрена СRM-система. Проведена фасилитационная сессия для руководителей организаций сферы детства с целью проектирования нового продукта — онлайн-курса по оценке для руководителей НКО, что позволит сонастроить продукт для дальнейшей реализации с учетом потребностей и запросов целевой аудитории.
Недостатки, выявленные в ходе реализации проекта
1) В отношении внедрения IT- продуктов. IT — сервис — сложный продукт, требующий усиленного внимания и качественного планирования рисков. Недостаточное внимание было этому уделено на этапе планирования проекта, что повлекло сдвиги по срокам доработки сервисов.
2) По итогам обратной связи от участников проекта были выявлены недостатки онлайн-курса (подробно отражены в отчетах внешней оценки).
Общие выводы по результатам реализации проекта
Факторы успешной реализации проекта (внутреннего и внешнего характера): актуальность и востребованность темы мониторинга и оценки (МиО) социальных проектов в секторе; качественный основной продукт в рамках проекта — онлайн-курс «Оценка проектов и программ в сфере детства», в основу которого лег многолетний наработанный опыт в области МиО; формирование программы онлайн-курса с привлечением передовых экспертов в области МиО и практиков в сфере детства; практикоориентированность онлайн-курса — возможность выполнения практических заданий с внедрением их в практику своей программы/организации, проведение консультаций; учет потребностей участников проекта — сбор ожиданий, установочные встречи и пр.; включение этапа пилотирования курса с активным сбором обратной связи от участников и внесением изменений и доработок в контент и процесс прохождения для улучшения для последующих потоков; качественная, постоянная коммуникация с участниками проекта/слушателями; поддержка методиста образовательной платформы (особенно на этапе запуска курса); эффективное календарное планирование проекта; создание тематических площадок для специалистов по обмену опытом. Влияние проекта на развитие организации: создание уникального для РФ методического продукта дает нам возможность дальнейшего его развития и масштабирования. Нам удалось наработать новые для себя компетенции по тематике проекта (онлайн-курсы), сонастроить 2 имеющихся IT-сервиса (онлайн-сервис ПИОН и онлайн-база «Слушай с пользой!»), приобрести новых партнеров. Актуальность продолжения деятельности по направлению проекта в вашем регионе: онлайн-формат курса позволяет включать участников из разных регионов РФ. Мы планируем продолжать развивать и распространять опыт, масштабируя, таким образом результаты проекта, заинтересованы в дальнейшей поддержке организаций по внедрению полученных знаний и компетенций в рамках реализации проекта, о чем есть запрос и со стороны самих участников (по результатам проведенного анкетирования).
Наличие и характер уникальных результатов проекта
Уникальный методический продукт — онлайн-курс «Оценка проектов и программ в сфере детства», основан на передовом международном и российском опыте, дает обширную теоретическую базу знаний по оценке социальных программ, предлагает освоение практических навыков, инструментов для внедрения и развития в организациях сферы детства процессов и практик мониторинга и оценки. В основе курса – многолетние наработки и практический опыт (включая кейсы) внедрения систем мониторинга и оценки программ, накопленный совместно с партнерами — организациями сферы детства. Уникальный IT-ресурс, не имеющий аналогов в РФ — онлайн-сервис ПИОН: планирование, измерение и оценка социальных результатов (https://pion.org.ru). Профессиональное решение для организаций сферы детства — поможет подобрать результаты и показатели для мониторинга и оценки программ, спроектировать собственную систему мониторинга и оценки.
Сведения об устойчивости (продолжении) осуществлявшейся по проекту деятельности после окончания гранта
Мы планируем продолжать развивать и распространять опыт, масштабируя, таким образом результаты проекта, заинтересованы в дальнейшей поддержке организаций по внедрению полученных знаний и компетенций в рамках реализации проекта, организации тематических площадок по обсуждению практического опыта, о чем есть запрос и со стороны самих участников (по результатам проведенного анкетирования, около 30 организаций). Кроме того, в ноябре 2020 г. в рамках проекта была проведена фасилитационная сессия для руководителей организаций сферы детства с целью проектирования нового продукта — онлайн-курса по оценке для руководителей НКО, что позволит сонастроить продукт для дальнейшей реализации с учетом потребностей и запросов целевой аудитории. Частично продукты планируется распространять на коммерческой основе.
Проект «Онлайн-курс по оценке проектов и программ в сфере детства» реализовывался на средства гранта Президента Российской Федерации на развитие гражданского общества. Стратегическую поддержку проектов осуществлял также Фонд Тимченко.