3 августа прошло групповое обсуждение по модулю «Методология измерения результативности. Методы сбора данных».
В мероприятии приняли участие 11 человек.
Основным ведущим встречи выступила Дарья Шамрова – преподаватель курса, автор модуля.
В начале обсуждения были обозначены наиболее сложные вопросы по теме методологии измерения результативности социальных программ, которые основаны на анализе выполнения слушателями тестов (по модулю, а также входного текста на определение общего уровня знаний в области мониторинга и оценки, выполнения домашних заданий):
— отличие экспериментального и кросс-секционального дизайна измерения результатов. Отличие в том, что экспериментальные дизайны позволяют установить и проанализировать причинно-следственные связи (для этого нужно измерение проводить более 1 раза), а кросс-секционные – описывают характеристики в одно определенное время;
— искажение данных при формировании выборки. Минимальный риск искажения данных – при случайной выборке (стратифицированной) – благодаря тому, что у всех благополучателей есть шанс попасть в нее;
— фокус-группы/интервью используются для сбора качественных данных, и не являются инструментом измерения показателя (они позволяют, например, собрать данные о механизмах достижения результата, описать социальный результат и пр. – то есть помогают понять более глубинные процессы);
— опрос не является экспериментальным методом сбора данных – измерение проводится один раз, не предполагает групп сравнения, не позволяет измерять разницу между «было» и «стало»;
— важно детализировать показатели – в этом случае можно избежать проблемы с измерением.
В ходе обсуждения участники также задавали вопросы относительно «применения» групп сравнения для возможности оценки разных типов услуг; обсуждали, всегда ли с помощью мониторинга измеряются количественные данные, или же он может носить «описательный» характер.
Во второй части встречи участники разбирали групповой кейс – сначала в мини-группах, затем было групповое общее обсуждение. Это был учебный пример, задача слушателей заключалась в том, чтобы предложить к описанной программе методологию измерения результатов. Даже те слушатели, кто не успел выполнить домашнее задание по модулю потренировались на представленном кейсе и на практике смогли закрепить усвоенные знания.
Онлайн курс «Оценка программ и проектов в сфере детства» подготовлен в рамках проектов АНО «Эволюция и Филантропия» «Виртуальный ресурсный центр по оценке эффективности для организаций сферы детства», который реализуется на средства гранта Комитета общественных связей и молодежной политики города Москвы и «Онлайн-курс по оценке проектов и программ в сфере детства», который реализуется на средства гранта Президента Российской Федерации на развитие гражданского общества. Стратегическую поддержку проектов осуществляет также Фонд Тимченко.