17 августа состоялась онлайн-встреча «Анализ данных для оценки результатов программ и проектов в сфере детства», на которой присутствовало 42 специалиста из 21 региона РФ.
В начале встречи Ольга Евдокимова рассказала об итогах работы сообщества практиков по теме мониторинга и оценки в 2021-2022, о доступных ресурсах по теме мониторинга и оценки, в частности о новых опциях онлайн-сервиса ПИОН — библиотеках кейсов и инструментов, где представлены, в том числе кейсы и инструменты анализа данных. Ольга также отметила, что анализ данных подразумевает несколько этапов: Анализ данных, интерпретацию, суждение и рекомендации. И важно уделять должное внимание всем 4-м этапам (презентация).
В рамках экспертного блока выступили:
- Екатерина Горина, психолог, АНО «Пространство общения», РБОО «Центр лечебной педагогики» представила доклад «Подходы к анализу технологий работы в Программе «Уверенное начало» (презентация).
Екатерина представила цели и мотивы исследования, обозначила исследовательские вопросы:
1) Определить, подходит ли для задач программы интервью и оценка СОРМ (Канадская оценка деятельности) (достигает ли рост баллов клинически значимого уровня? каково распределение заявленных проблем по доменам МКФ? какие задачи «решаются» лучше? какие изменения происходят со временем?)
2) Как «работают» SMART-цели? (сколько целей достигается?; почему одни цели достигаются, а другие нет?)
3) Действительно ли программа семейно-центрированная? Есть ли согласованность в оценках родителя и специалиста?
Екатерина представила результаты исследования, которые были опубликованы в научном журнале, что делает эту работу особо ценной. Екатерина отметила, что часть гипотез не подтверждается и поэтому не публикуется и это ограничивает формирование базы знаний.
Участники встречи выразили пожелание более подробно ознакомиться с результатами исследования.
- Ольга Заводилкина, эксперт АНО «Эволюция и Филантропия», методический руководитель пилотной группы САД («Статистический анализ данных»), которая была сформирована из инициативных участников тематических площадок по оценке в сфере детства.
Ольга рассказала, как работала группа, представила алгоритм подхода к выбору инструментария, отдельно остановилась на выборе статистического критерия при проведении анализа, а также поделилась ссылками на доступные онлайн-калькуляторы и выводами по итогам работы группы. Ольга подчеркнула практический характер работы и то, что участники применяли либо фактические данные либо их проектировали. «Реальное обучение начинается при применении знаний» — сделала заключение Ольга Заводилкина. См. презентацию.
Свои кейсы представили участники группы «Статистический анализ данных»:
- Виктория Анейчик, Санкт-Петербургская ассоциация общественных объединений родителей детей-инвалидов «ГАООРДИ» (презентация).
Виктория обозначила свои мотивы и задачи участия в пилотной группе, представила логическую модель проекта «Как дома», инструментарий сбора данных о развитии навыков молодых взрослых с ТМНР, проживающих в центре Ассоциации и подробно раскрыла, как проводился анализ данных для проверки исследовательских гипотез и какие были сформулированы выводы и рекомендации для корректировки проекта. Виктория обозначила следующие основные трудности при освоении количественного анализа: 1) Формулировка содержательных и статистических гипотез; 2) Правильный выбор статистических методов для решения поставленных задач; 3) Интерпретация полученных результатов.
- Мария Егорова, Международный детский фонд «Дети Саха-Азия» (презентация).
Мария представила разработанное Дерево результатов Программы «Временный приют для женщин с детьми, оказавшихся в трудной жизненной ситуации (ТЖС)», логическую модель Программы, а также пошаговый алгоритм анализа данных. Мария подчеркнула, что основными ограничениями при анализе данных было небольшое количество благополучателей, по которым собраны данные «до» и «после» для анализа, а также вовлеченность только одной группы благополучателей, т.е. принимается во внимание результаты опроса только мамы подростка. Для преодоления последнего ограничения, были введены предполагаемые данные, что снизило точность анализа. В планах у Фонда: 1) Внедрить опросник для подростков в онлайн-формате; 2) Продолжить собирать исходные данные по подросткам и родителям; 3) При сборе достаточного объема данных будет проведен анализ и по нему будет принято определенное управленческое решение.
Новостями по теме «Мониторинг и оценка» поделились:
- Антонина Попова, БФ «Волонтеры в помощь детям-сиротам», представила «Исследование факторов результативности работы с мамами и их детьми на базе центра временного пребывания» (презентация).
Проект «Теплый дом» присутствует в Банке доказательных практик Фонда Тимченко и имеет продвинутый уровень доказанности по всем критериям в соответствие со Стандартом доказательности социальных практик в сфере детства. Исследование интересно тем, что оно включает в себя задачу по сравнению результатов аналогичной практики, которую реализует РОО «Аистенок». Мы планируем в сентябре в рамках тематической площадки «Кризисные центры» представить более подробно результаты исследования.
- Ольга Андросова, МДФ «Дети Саха-Азия» рассказала об исследовании «Оценка эффективности медиапроектов», проведенного в рамках конкурса «Research Got Talent» (презентация).
Ольга рассказала, как был организован процесс взаимодействия с командой исследователей, какие были получены выводы и даны рекомендации. Участники встречи обсудили вопрос о том, какими компетенциями должен обладать внешний исполнитель, чтобы давать рекомендации по развитию социальных программ.
Марина рассказала, что сейчас организация активно использует для измерения социальных результатов продукты, разработанные при поддержке АНО «Эволюция и Филантропия», а также вовлекает воспитанников в мониторинг и оценку программы по подготовке к самостоятельной жизни с использованием инструментов, дружественных детям.
Основные выводы, которые можно сделать по итогам встречи:
- Формулировка исследовательских гипотез вызывает затруднения и эту тему необходимо развивать.
- Во всех кейсах звучала тема статистической значимости.
- Качество инструментария сбора данных имеет первостепенное значение. Особая сложность , если инструментарий основан на суждениях разных акторов (например, специалисты и родители).
- Способ организации данных — важнейший элемент для качества анализа.
- Этап интерпретации и суждения — очень важные этапы, их нельзя пропускать. Но это все довольно субъективные этапы.
- Анализ данных следует проводить в команде, при чем с разными компетенциями.
- Важно, чтобы команда обладала критическим мышлением и была готова, что часть гипотез не подтвердится.
- Необходим коучинг со стороны экспертов в области анализа данных для сохранения качества исследования.
Видео-запись встречи доступна по ссылке.
Мероприятие проводится в рамках деятельности созданного АНО «Эволюция и Филантропия» сообщества специалистов практиков в области оценки программ в сфере детства.