15 июня прошло групповое обсуждение слушателей пилотной группы онлайн-курса «Оценка проектов и программ в сфере детства». На встрече присутствовало 16 слушателей курса.
Обсуждение проходило по двум пройденным модулям: «Планирование результатов и показателей (часть 2)» и «Методология измерения результативности. Методы сбора данных».
В начале встречи Ольга Евдокимова озвучила рекомендации, связанные с процессом определения и формулировки показателей. Среди затронутых вопросов:
- уточнение терминологии (в рамках курса предлагается объединение терминов «показатель» и «индикатор», в то же время в литературе существует альтернативный подход – когда эти понятия не синонимичны);
- количественные и качественные показатели. Даже т.н. качественные показатели должны иметь количественные характеристики;
- оценочные вопросы для определения показателей – т.е. обозначать, на какой вопрос должен отвечать конкретный показатель, а также учитывать тот факт, что формулировка показателя во многом зависит от источников информации и инструмента сбора данных. Именно поэтому часто бывает так, что показатели уточняются, когда организация переходит к этапу выбора, подбора инструментов измерения и источников данных.
Участники обсудили вопросы выбора показателей для промежуточных и конечных непосредственных результатов. Такое деление вызывает у части слушателей затруднение.
Некоторую дискуссию вызвал вопрос, всегда ли показатель выражается в числовых единицах. Ответ на этот вопрос – нет, не всегда. Количественное и числовое значение — не синонимы. В результате было выдвинуто предложение включить в содержание курса больше примеров, иллюстрирующих формулировки показателей, имеющих не числовые значения.
Также слушатели затронули тему, связанную с разными требованиями к отчетности от разных финансирующих сторон.
Ольга Евдокимова также ответила на ряд вопросов и предложений, которые содержались в анкете обратной связи. В частности:
- Слушатели высказали мнение, что анкеты обратной должны быть короче и можно было бы их реже собирать. Было решено подумать над тем, можно ли сократить анкету для 2-го потока учащихся.
- Появился запрос на детальный разбор кейсов с участниками, т.к. это важная часть работы для организации. Ольга Евдокимова ответила, что в рамках курса такую работу вести не предполагается. АНО «Эволюция и Филантропия» ведет другие проекты, где подразумевается индивидуальная работа со участниками .
«При написании проекта уже сталкивалась с планированием результатов и подбором нужных показателей. Данный модуль структурировал те знания какие были. К сожалению , раньше не использовала обратную связь от благополучателей как показатель»
«Узнала новое и структурировала знания про показатели, особенно было интересно читать про показатели качества услуг и социальных результатов»
«Новой была подробная классификация показателей, важность формулировки и связи с целями и границами процессов»
«Не уверена что смогу подобрать показатели ко всем этапам самостоятельно, даже после обучения»
По разделу «Методология измерения результативности. Методы сбора данных» автор данного модуля курса — Дарья Шамрова — обозначила общие рекомендации для участников по определению методологии сбора данных о результативности практики:
- Имеет место унификация методологии измерения результативности по нескольким показателям. То есть для того, чтобы измерять несколько показателей, например, методом онлайн-опроса, можно включить вопросы в одну анкету, а не делать несколько разных инструментов;
- Формулировки показателей (точность и определение критериев) — особенно в тех случаях, когда можно по-разному трактовать значение (например – помощь, эффективность и др.);
- Сложные понятия лучше измерять стандартизированными методиками — например, тревожность, эмоциональное состояние и др.;
- Изменения лучше фиксировать «до» и «после», особенно, в случае использования стандартизированных шкал.
Также разобрали вопросы формирования выборки (отличие квотной выборки от других типов) и различия между группой «сравнения» и контрольной группой.
Выражаем особую благодарность Олесе Деснянской за объединение всех материалов курса и предоставление собственных домашних заданий всем учащимся.
В конце встречи Ольга Евдокимова обратила внимание на необходимость соблюдения графика обучения и выполнения заданий в срок из-за короткого периода участия привлечённых преподавателей.
Онлайн курс «Оценка программ и проектов в сфере детства» подготовлен в рамках проектов АНО «Эволюция и Филантропия» «Виртуальный ресурсный центр по оценке эффективности для организаций сферы детства«, который реализуется на средства гранта Комитета общественных связей и молодежной политики города Москвы и «Онлайн-курс по оценке проектов и программ в сфере детства«, который реализуется на средства гранта Президента Российской Федерации на развитие гражданского общества. Стратегическую поддержку проектов осуществляет также Фонд Тимченко.