13 октября состоялось очередное обсуждение слушателей курса «Оценка проектов и программ в сфере детства» по очень непростой теме – Анализ данных. Основным ведущим выступила Дарья Шамрова.
В обсуждении приняли участие 25 человек.
В начале встречи внимание участников было обращено на вопросы входного тестирования из раздела «Анализ данных» — по ним было больше всего неверных ответов. Хотелось бы подчеркнуть, что ответы на данные вопросы есть в материалах курса.
Дарья Шамрова отметила, что задача модуля «Анализ данных» – обзор методов анализа данных, транслирование возможностей и подходов к анализу данных разных типов (количественных и качественных). По итогам изучения модуля не предполагается, что слушатели глубоко освоят различные способы анализа данных, но будут обладать необходимыми знаниями и пониманием того, какие данные собираются в рамках программ и как можно с этими данными обходиться для того, чтобы проанализировать результативность своих практик.
В групповой консультации были отмечены особо сложные моменты в обсуждаемой теме, которые возникли на этапе выполнения тестов, в ходе выполнения домашних заданий и вопросов слушателей:
- Количественные данные — числовые, порядковые и категории. То есть числовые данные – это подгруппа количественных данных, а не наоборот.
- Применимость т-теста: данный тест применяется для выявления статистически значимой разницы в социальном результате между подгруппами благополучателей или между измерениями «до» и «после». Такой метод применим только к данным, в которых один показатель числовой (или порядковый), а другой – категория. Т-тест — это вид корреляционного анализа.
- Корреляционный анализ используется только для установления взаимосвязи между числовыми или порядковыми данными. В других случаях он не нужен.
- Структурирование базы данных: показатель – это колонка, а индивидуальные данные по каждому благополучателю – строки. Именно в таком виде данные удобно анализировать в эксель, например.
- Подсчет частоты явления является приемом описательной статистики.
- Подсчет доли и среднего в описательной статистике. Важно учитывать ряд факторов/ограничений – экстремальные значения при подсчете среднего, интенсивность изменений (расчет среднего значения не позволяет показать ее).
- Разница между индуктивной и описательной статистикой:
— Для расчета показателя чаще всего используется описательная статистика – и этого вполне достаточно. Когда мы считаем количество, среднее значение, процент, долю и пр.
— Анализ взаимосвязи – индуктивная статистика — применяется не для измерения, а для более глубокого анализа (оценки) результативности практики (когда есть цель выделить взаимосвязи, например, между активностями и результатами, или выделить различия между результатами для разных групп благополучателей). Это более глубинные задачи, которые связаны в том числе с улучшением программ.
Важные выводы по анализу качественных данных:
- Анализ качественных данных состоит из 4-х шагов: прочитывание, кодировка, группировка, выделение паттернов.
- Ручной анализ данных не позволяет проводить глубинный анализ качественных данных, выявлять скрытые паттерны, а подходит для ответов на простые вопросы, или когда нам нужно сделать какие-то простые манипуляции с данными – например, группировать.
- Качественные данные не подходят для измерения показателей. Они используются для оценки результативности или процессной оценки.
Умение определять тип данных – это точка роста. Важно понимать, что данные бывают разных типов и зависят от инструментария. Методология измерения очень тесно связана с анализом. От того, как задается вопрос, зависит то, как потом данные будут проанализированы и использованы.
Во второй части обсуждения участники потренировались в анализе количественных и качественных данных на примере учебного кейса.
В завершении обсуждения Ольга Евдокимова озвучила некоторые выводы по результатам обратной связи от слушателей, дальнейшие планы по обучению – впереди 2 завершающих модуля, групповое обсуждение по теме «Внешняя оценка: ТЗ и отчет» (27 октября) и итоговый круглый стол (30 октября).
Презентацию можно посмотреть здесь.
Онлайн курс «Оценка программ и проектов в сфере детства» подготовлен в рамках проектов АНО «Эволюция и Филантропия» «Виртуальный ресурсный центр по оценке эффективности для организаций сферы детства«, который реализуется на средства гранта Комитета общественных связей и молодежной политики города Москвы и «Онлайн-курс по оценке проектов и программ в сфере детства«, который реализуется на средства гранта Президента Российской Федерации на развитие гражданского общества. Стратегическую поддержку проектов осуществляет также Фонд Тимченко.