6 октября прошло очередное групповое обсуждение со слушателями 3 потока онлайн-курса «Оценка проектов и программ в сфере детства». Обсуждение было посвящено теме «Методология измерения результативности. Методы сбора данных». В мероприятии принял участие 21 слушатель.
Ведущей встречи выступила Дарья Шамрова – преподаватель курса, автор модуля.
В начале обсуждения были обозначены наиболее сложные вопросы по теме методологии измерения результативности социальных программ, которые основаны на анализе выполнения слушателями тестов (по модулю, а также входного текста на определение общего уровня знаний в области мониторинга и оценки, выполнения домашних заданий):
— отличие экспериментального и кросс-секционального дизайна измерения результатов. Отличие в том, что экспериментальные дизайны позволяют установить и проанализировать причинно-следственные связи (для этого нужно измерение проводить более 1 раза), а кросс-секционные – описывают характеристики в одно определенное время;
— искажение данных при формировании выборки. Минимальный риск искажения данных – при случайной выборке (стратифицированной) – благодаря тому, что у всех благополучателей есть шанс попасть в нее;
— фокус-группы и интервью используются для сбора качественных данных, и не являются инструментом измерения показателя (они позволяют, например, собрать данные о механизмах достижения результата, описать социальный результат и пр. – то есть помогают понять более глубинные процессы);
— опрос не является экспериментальным методом сбора данных – измерение проводится один раз, не предполагает групп сравнения, не позволяет измерять разницу между «было» и «стало»;
— измерение показателей с использованием метода наблюдения – в этом случае важно использовать протокол наблюдения. Кроме того, стоит обучить специалистов тому, чтобы они проводили наблюдение «одинаково» — понимали, какие критерии они отслеживают, отмечали в соответствующих формах. То есть метод наблюдения не так прост в применении как может показаться на первый взгляд, и он должен быть формализован; часто также требуется подкрепление данных. собранных методом наблюдения какими-то дополнительными методами сбора данных;
— целевые выборки редко применимы для измерения показателей. В идеале опрашивать всех участников программ (если их не слишком много). Но иногда показатели могут быть сформулированы таким образом, что уместно применять целевые выборки. Например, когда мы говорим о развитии навыков детей, и дизайн программы подразумевает разные активности для детей, направленные на развитие разных групп навыков – речевые, двигательные и пр. В этом случае выборка будет целевая – мы будем отслеживать изменения в определенных группах детей, исходя из того, на развитие каких навыков работали с детьми;
— важно детализировать показатели, формулировать их максимально конкретно – в этом случае можно избежать проблемы с измерением.
Отдельное внимание было уделено триангуляции при использовании разных методов сбора данных. В этом случае нельзя «складывать» полученные данные. Важно их сверить на предмет того как они соотносятся между собой. В случае, если результаты разнятся, то так и нужно их представлять. При этом важно принимать во внимание, что есть более и менее объективные методы и инструменты сбора данных, и в случае принятия каких-то решений, можно опираться именно на более объективные данные.
Во второй части встречи участники разбирали групповой кейс – сначала в мини-группах, затем было групповое общее обсуждение. Это был учебный пример, задача слушателей заключалась в том, чтобы предложить к описанной программе методологию измерения результатов. Даже те слушатели, кто не успел выполнить домашнее задание по модулю потренировались на представленном кейсе и на практике смогли закрепить усвоенные знания.
Стоит отметить, что много комментариев в процессе групповой работы от участников было относительно уместности и этичности использования контрольных групп и групп сравнения. Основной вывод – использование такого подхода к измерению результативности нужно, если есть определенная цель и организация поставила определенные оценочные вопросы. Например, возможно ли сохранение социального результата при масштабировании практики? В этом случае уместна будет группа сравнения. Но в этом случае важно учитывать, что группы должны быть очень похожи. Если важно понять, достигает ли программа запланированных социальных результатов, то тогда можно не применять такой дизайн к измерению результативности как использование контрольных групп и групп сравнения.
Презентацию можно посмотреть здесь.
Онлайн-курс «Оценка программ и проектов в сфере детства» реализуется в рамках проекта «Онлайн-курс по оценке проектов и программ в сфере детства» при поддержке гранта Президента Российской Федерации на развитие гражданского общества. Стратегическую поддержку проекта осуществляет также Фонд Тимченко.