Итоги 2-го группового обсуждения слушателей онлайн курса «Оценка программ и проектов в сфере детства».

15 июня прошло групповое обсуждение слушателей пилотной группы онлайн-курса «Оценка проектов и программ в сфере детства». На встрече присутствовало 16 слушателей курса.

Обсуждение проходило по двум пройденным модулям: «Планирование результатов и показателей (часть 2)» и «Методология измерения результативности. Методы сбора данных».

В начале встречи Ольга Евдокимова озвучила рекомендации, связанные с процессом определения и формулировки показателей. Среди затронутых вопросов:

  • уточнение терминологии (в рамках курса предлагается объединение терминов «показатель» и «индикатор», в то же время в литературе существует альтернативный подход – когда эти понятия не синонимичны);
  • количественные и качественные показатели. Даже т.н. качественные показатели должны иметь количественные характеристики;
  • оценочные вопросы для определения показателей – т.е. обозначать, на какой вопрос должен отвечать конкретный показатель, а также учитывать тот факт, что формулировка показателя во многом зависит от источников информации и инструмента сбора данных.  Именно поэтому часто бывает так, что показатели уточняются, когда организация переходит к этапу выбора, подбора инструментов измерения и источников данных.

Участники обсудили вопросы выбора показателей для промежуточных и конечных непосредственных результатов. Такое деление вызывает у части слушателей затруднение.

Некоторую дискуссию вызвал вопрос, всегда ли показатель выражается в числовых единицах. Ответ на этот вопрос – нет, не всегда. Количественное и числовое значение — не синонимы. В результате было выдвинуто предложение включить в содержание курса больше примеров, иллюстрирующих формулировки показателей, имеющих не числовые значения.

Также слушатели затронули тему, связанную с разными требованиями к отчетности от разных финансирующих сторон.

Ольга Евдокимова также ответила на ряд вопросов и предложений, которые содержались в анкете обратной связи. В частности:

  • Слушатели высказали мнение, что анкеты обратной должны быть короче и можно было бы их реже собирать. Было решено подумать над тем, можно ли  сократить анкету для 2-го потока учащихся.
  • Появился запрос на детальный разбор кейсов с участниками, т.к. это важная часть работы для организации.  Ольга Евдокимова ответила, что в рамках курса такую работу вести не предполагается. АНО «Эволюция и Филантропия» ведет другие проекты, где подразумевается индивидуальная работа со участниками .

«При написании проекта уже сталкивалась с планированием результатов и подбором нужных показателей. Данный модуль структурировал те знания какие были. К сожалению , раньше не использовала обратную связь от благополучателей как показатель»

«Узнала новое и структурировала знания про показатели, особенно было интересно читать про показатели качества услуг и социальных результатов»

«Новой была подробная классификация показателей, важность формулировки и связи с целями и границами процессов»

«Не уверена что смогу подобрать показатели ко всем этапам самостоятельно, даже после обучения»

По разделу «Методология измерения результативности. Методы сбора данных» автор данного модуля курса — Дарья Шамрова — обозначила общие рекомендации для участников по определению методологии сбора данных о результативности практики:

  1. Имеет место унификация методологии измерения результативности по нескольким показателям. То есть для того, чтобы измерять несколько показателей, например, методом онлайн-опроса, можно включить вопросы в одну анкету, а не делать несколько разных инструментов;
  2. Формулировки показателей (точность и определение критериев) — особенно в тех случаях, когда можно по-разному трактовать значение (например – помощь, эффективность и др.);
  3. Сложные понятия лучше измерять стандартизированными методиками — например, тревожность, эмоциональное состояние и др.;
  4. Изменения лучше фиксировать «до» и «после», особенно, в случае использования стандартизированных шкал.

Также разобрали вопросы формирования выборки (отличие квотной выборки от других типов) и различия между группой «сравнения» и контрольной группой.

Выражаем особую благодарность Олесе Деснянской за объединение всех материалов курса и предоставление собственных домашних заданий всем учащимся.

В конце встречи Ольга Евдокимова обратила внимание на необходимость соблюдения графика обучения и выполнения заданий в срок из-за короткого периода участия привлечённых преподавателей.

Онлайн курс «Оценка программ и проектов в сфере детства» подготовлен в рамках проектов АНО «Эволюция и Филантропия» «Виртуальный ресурсный центр по оценке эффективности для организаций сферы детства«, который реализуется на средства гранта Комитета общественных связей и молодежной политики города Москвы  и «Онлайн-курс по оценке проектов и программ в сфере детства«, который реализуется на средства гранта Президента Российской Федерации на развитие гражданского общества. Стратегическую поддержку проектов осуществляет также Фонд Тимченко.

Share
Метки: , , , , ,