Оценка: обзор ключевых международных трендов (по материалам Дайджеста ЭиФ (E&P) 2013-2014 гг.)

2015 год объявлен Международным годом оценки  по инициативе Группы ООН по оценке и сообщества EvalPartners. А 19 декабря 2014 года Генеральная Ассамблея ООН приняла первую в истории резолюцию, посвященную оценке – «Укрепление потенциала оценки программ развития (деятельности в целях развития) на страновом уровне». Каковы ключевые международные тренды в области оценки в социальной сфере? Чтобы найти ответ на этот вопрос, были проанализированы статьи по теме «Оценка», размещенные в Дайджестах публикаций международного филантропического сообщества в 2013-2014 гг. (всего 40 статей)[1]. Данные материалы отражают ключевые вопросы дискуссий международных экспертов некоммерческого сектора по теме оценки.

Тематику статей Дайджеста, посвященных  оценке, условно можно разделить на две основные группы:

  • — измерение эффективности (performance measurement) как управленческая практика (в первую очередь некоммерческих организаций), смысл которой заключается в постоянном улучшении организационных процессов, оперативной корректировке курса и оптимальном использовании ресурсов организации в интересах благополучателей;
  • — оценка воздействия социальных программ на общество (impact evaluation): установление причинно-следственных связей между выполненными работами и полученным результатом, вопросы повышения масштаба социального воздействия и, как результат, ориентация на широкую внешнюю аудиторию (участники нормотворческого процесса, доноры, государство и т.д.).

Тенденция, которая уже очевидна и будет продолжать укрепляться – это запрос на поиск эффективных моделей решения социальных проблем. Это и результат признания того факта, что проблемы, с которыми мы сталкиваемся сегодня, слишком глобальны, сложны и мультидисциплинарны, чтобы их решение было под силу одному учреждению, НКО, государству и пр.; и реакция на глобальный финансовый кризис – стремление к повышению эффективности социальных программ за счет увеличения социальных результатов, масштаба социального воздействия и снижения расходов.

Данный запрос на поиск эффективных моделей стимулирует:

  • — объединение усилий и развитие межсекторного партнерства;
  • — поиск инновационных моделей в сфере филантропии;
  • — развитие рынка социального инвестирования;
  • — распространение «коллективной экономики» (shared economy).

Увеличение числа игроков на «социальном» поле, с одной стороны, приводит к размытию границ секторов и их функций, к инновационным решениям за счет заимствования подходов и пр.; а с другой стороны, актуализирует запрос на оценку деятельности и вклада каждого участника – а в первую очередь, государства и некоммерческого сектора, об эффективности их деятельности, в том числе, расходования средств.

На основе анализа статей Дайджеста 2013-2014 гг. выявлены следующие международные тренды в области оценки.

Тренд 1. Оценка как инструмент выявления и проверки перспективных, креативных идей и вариантов решения социальных проблем.

Знаковым событием 2014 года стало свертывание Фондом Хьюлетта Инициативы по развитию некоммерческого рынка (The Nonprofit Marketplace Initiative), которая поддерживала рейтинговые агентства (Charity Navigator, GuideStar, GiveWell и др.) и призывала состоятельных доноров изучать показатели эффективности НКО. Более целесообразной признана реализация исследовательских проектов, способствующих выявлению эффективных моделей и практик, в частности, использование доказательств как инструмент поиска и проверки перспективных идей – для последующего распространения и внедрения передового опыта [38].

Увеличение скорости поиска эффективных моделей и решений социальных проблем (как на уровне организации, так и для масштабирования социального воздействия) тесно связано с трендами №2-3, направленными на увеличение объема и источников информации, стимулирование к взаимному обмену информацией и взаимному обучению.

Тренд 2. Расширение цифровой инфраструктуры, формирование крупных массивов данных (Big Data) с целью взаимного обмена знаниями и обученияобъединение информации, которую участники общественных проектов и программ публикуют в открытом пространстве и/или распространяют с помощью социальных медиа [11].

К числу ключевых событий можно отнести публикацию Хартии о всемирном массиве данных филантропического сектора, разработанную Всемирной инициативой по поддержке грант-мейкеров (WINGS) [12]. Хартия направлена на улучшение деятельности тех, кто вовлечен в сбор данных о филантропии, привлечение стейкхолдеров из различных секторов (государство, бизнес, ученые и гражданское общество в целом) к обмену и использованию данных о филантропии в общественных интересах.

Взаимный обмен информацией в сфере филантропии соответствует и все более возрастающему запросу со стороны общества – узнать, каким образом ресурсы фондов и иных доноров влияют на общество. Ведь если информации об отдельных организациях достаточно, то данных о некоммерческом секторе в целом – практически нет [35].

Расширение числа акторов, участвующих в сборе и анализе информации, закономерно ставит вопрос об оптимизации этих процессов, выработке и согласовании основных правил и подходов.

Тренд 3. Стандартизация социальных результатов и показателей – формирование общих, единых систем измерения и оценки (shared measurement), согласование принципов, методов, подходов и правил оценки.

Активно ведется работа по разработке классификации универсальных результатов социальных программ и общих показателей для их оценки. Фиксируется постепенный отход от попыток сопоставить разные по сути инициативы в отдельных сегментах деятельности (образование, здравоохранение, искусство и т.д.) к концентрации внимания на конкретных социальных результатах и эффектах, символизирующих качественные изменения в обществе (например, усиление стремления к получению образования, реализация творческого потенциала молодежи и т.п.) [15]. В частности, это инициативы Inspiring Impact, PerformWell, Global value exchange, издание пособий по проектированию общих систем измерения [31, 35].

К числу успешных примеров относится «Матрица результатов» (The Outcome Matrix), в которой представлены социальные результаты отдельных субъектов, сгруппированные по направлениям и сегментам деятельности. Такой подход позволяет акторам, действующим в одном сегменте, следить за достижениями друг друга, обмениваться опытом и распространять передовые практики [12].

Значимую роль в вопросах стандартизации играют государственные структуры как отражение общего «посткризисного» тренда – экономия общественных ресурсов [35], уход от дублирования социальных программ и проектов; поиск инновационных моделей решения социальных проблем (в том числе финансовых). Например, одна из успешных онлайн-платформ, на которой происходит сбор релевантной информации по принципу краудсорсинга – Global value exchange – инициирована Правительством Шотландии.

Тренд 4. Спрос на формирование единых показателей эффективности на основе стоимости социальных проектов и программ.

На оценку в социальной сфере большое влияние оказывают масштабные инициативы, направленные на развитие социального бизнеса и рынка социальных инвестиций. Все больше в социальной сфере распространяются инвестиционные понятия, подходы и инструменты. В частности, утвержден Европейский стандарт оценки социального воздействия, в основе которого – Руководство Европейской ассоциации венчурной филантропии (EVPA). Получает большое распространение стоимостная оценка – оценка социально-экономического воздействия (SEIA), оценка социальной эффективности инвестиций (SROI) и другие.

По мере накопления сведений о положительной отдаче от вложенных средств и затратах на получение одного и того же результата в рамках разных программ, появляется возможность формирования таких показателей эффективности как «размер затрат на создание конкретного общественного блага» (cost per outcome) или «социальная отдача от инвестиций» (SROI) [8], а также выявления ключевых характеристик самых действенных инициатив и подходов к решению актуальных проблем [15]. Это экономит время и деньги организациям, реализующим социальные проекты и программы, а также помогает финансировать именно те программы, которые больше всего соответствуют их запросам [28].

Кроме того, стоимостная оценка позволяет оценить и наглядно продемонстрировать вклад каждого актора (например, НКО, бизнес-компании) в решение социальных проблем, что особенно важно в вопросах адвокации, влияния на социетальные системы.

Тренды №1-4, фиксирующие объединение усилий различных стейкхолдеров, актуализируют ряд вопросов, вокруг которых в последнее время ведется оживленная дискуссия в международном сообществе:

  • — необходимость выработки общего языка для представителей разных секторов и дисциплин [15];
  • — спрос на оперативный доступ к информации, в том числе в режиме реального времени [9, 25, 28];
  • — запрос на открытость и прозрачность результатов оценки (в первую очередь негативных) для эффективного поиска лучшего решения [14, 15, 35];
  • — развитие технологий коллаборации по вопросам оценки: появление множества онлайн-платформ, в том числе краудсорсинговых, например, WikiVOIS, GVE и пр. [1, 11];
  • — спрос на инструменты и компетенции в области визуализации результатов оценочных исследований, больших массивов данных [11, 17, 21];
  • — поиск механизмов, стимулирующих гражданскую активность стейкхолдеров, взаимный обмен информацией (в том числе через материальные бонусы – скидки и пр.) [12].
    Рекомендации для НКО и доноров:

    • Обозначьте место и роль вашей организации / инициативы в общей системе социальных преобразований;
    • Стремитесь к обмену информацией с другими акторами в целях разработки совместных стратегий, коллективных инициатив, повышения прозрачности сектора, формирования устойчивого партнерства с государством;
    • Анализируйте ошибки и используйте полученную информацию для коллективного обучения.

    Масштабный поток информации, а соответственно, и идей из разных секторов, дисциплин, континентов и пр., актуализирует вопрос о том, как выбрать наиболее перспективную? Какой вариант лучше? Все более популярной и распространенной технологией поиска оптимальных и эффективных решений становится использование принципов методики «design thinking»[2]. Данный системный подход, который в прошлом применяли исключительно дизайнеры, теперь становится характерным «стилем работы Кремниевой долины» и применяется к любой системе (транспортной, образовательной, медицинской и пр.) и к любой сфере, в том числе филантропии (больше примеров – на ресурсе ideo.org).

    Тренд 5. Внимание к интересам целевых аудиторий (от экспертизы внешнего, профессионального оценщика к вовлечению широкого круга участников, от объекта к субъекту):

    • — активное вовлечение субъектов оценки (в первую очередь благополучателей) на всех этапах – от разработки дизайна исследования до использования информации, представленной в отчете, учет их мнения [7, 12, 20, 25];
    • — привлечение и вовлечение в процессы измерения и оценки эффективности сотрудников НКО нижнего сегмента организационной иерархии [1];
    • — постоянная работа по выявлению скрытых потребностей благополучателей с целью эффективного решения социальных проблем [1, 4];
    • — подготовка итогового отчета с учётом потребностей конечных потребителей информации – ответ на вопрос «для кого оценка?» [7, 12, 20, 25].
    Рекомендации для НКО и доноров:

    • Разработайте Теорию изменений (или логическую модель), чтобы зафиксировать целевую аудиторию, объем и характер услуг, промежуточные результаты и устойчивые изменения;
    • Оценка изначально должна учитывать интересы ключевых стейкхолдеров: укрепляйте отношения с ними, взаимодействуйте с людьми на местах, расширяя спектр знаний о контексте социальных инициатив, новых возможностях, трудностях и рисках;
    • «Обкатайте» технологию обучения и практического применения полученных в ходе оценки знаний в организации;
    • Тестируйте улучшенные варианты оценочной системы в рамках отдельных направлений перед тем, как менять систему в целом;
    • Формируйте постоянный пакет краткосрочных и долгосрочных показателей.

     

    Тренд 6. Увеличение гибкости и адаптивности оценки, ее динамичность и оперативность [4, 5, 7, 10]:

    • — Уход от дихотомии «либо/либо» и спрос на нестандартные, креативные модели, учитывающие несколько факторов одновременно. Например, совмещение инноваций и доказательств эффективности [9]; поиск лучшего по стоимости и отдаче способа достижения социального результата при одновременном расширении масштабов воздействия [40]; развитие «щадящего» подхода [9], суть которого подразумевает уже на ранних этапах инновационных проектов формирование долгосрочных прогнозов устойчивых изменений (social impacts) на основе «опережающих показателей» (leading indicators).
    • — Быстрое прототипирование – распространение «развивающей оценки» [4, 11, 12].
    • — Замена итоговой оценки онлайн-потоками оценочных данных в режиме реального времени. Подпитывают эти виды коммуникаций Web 2.0, подключенные к социальным сетям и форумы в вики-стиле для краудсорсинга (например, платформа Global value exchange, где различные акторы могут взаимодействовать с сотнями виртуальных экспертов) [1, 5, 12].
    • — Эволюция показателей эффективности, что во многом связано с влиянием социальных инвесторов и венчурных филантропов. Так, фиксируется переход от доступной отчетности, акценте на прозрачности (интерес инвесторов конкретными данными, а не историями) к выработке единых стандартов (возможность сопоставления, оценки социальных, экологических и финансовых результатов инвестиций – IRIS), а далее – к созданию ценности/полезности, к так называемым «Показателям 3.0» [31], учету финансовых показателей; проводится самооценка и создается общее знание о том, какие практики успешны на уровне всего сектора, индустрии.
    • Заимствование инструментария из других секторов, которые используются для составления точных прогнозов. Например, принятие решений на основе «синтетических данных» [32], анализа массива данных и знаний ранее реализованных проектов и программ, подтверждённых факторов успеха, позволяющих вывести универсальный «геном социального эффекта» [32].
    • — Развитие «качественной» оценки, методы которой напоминают совещательные практики, вовлекающие стейкхолдеров в обсуждение актуальных социальных проблем, учет контекстуальной информации [21, 22, 40].

    Тренд 7. «Do not overmeasure!» один из лейтмотивов последних дискуссий вокруг темы оценки социального воздействия и измерения эффективности. На проведение оценки также необходимо выделять ресурсы – временные, человеческие, финансовые и пр. Как будет использоваться собранная информация? Кто будет ее потребителем? Действительно ли вся собранная информация представляет ценность?

    Как и для подготовки нефинансовой отчетности (например, Глобальная инициатива GRI) для оценки становится актуален принцип существенности – сбор только той информации, которая действительна нужна; измерение только тех изменений, которые можно установить; измерения, демонстрирующие связь с конкретной социальной программой, позитивные изменения в жизни благополучателей. Запрос на более гибкие и менее затратные способы проведения оценки, в частности, распространение «облегченной оценки» [3, 20] способствует внедрению практики оценки не только в крупных НКО, но также в малых и средних [23]. 

    Рекомендации для НКО и доноров:

    • Сформулируйте задачи оценки, определите приоритеты для сбора сведений;
    • Ориентируйтесь на конечную цель и рассказывайте о стратегиях / механизмах ее достижения;
    • Руководствуйтесь правилом «80/20» (оценка 20% наиболее перспективных программ);
    • Сфокусируйтесь на измерении тех изменений, которые можно установить, и проследите их связь с конкретной программой;
    • Не занимайтесь простыми подсчетами – показывайте прогресс на пути достижения целей программ/организации;
    • Стремитесь к извлечению уроков из результатов оценки; рассказывайте, как используются результаты оценки для улучшения программ.

    Перечисленные тенденции отражают изменение целей и функций оценки социальных / благотворительных программ:

    • — От функции контроля к активному вовлечению субъектов и объектов оценки [7, 12, 20, 25];
    • — От роли вспомогательного инструмента, мониторинга деятельности организации и выполнения социальных программ к самостоятельному направлению социальных преобразований через адвокацию и пр. [18], к демонстрации вклада организации в сообщество (например, экономия средств) [22];
    • — От фокуса на целевом расходовании средств к гуманизации оценки, акцент на истинных потребностях благополучателей [7, 12, 20, 25];
    • — От формирующей и итоговой оценки (formative / summative evaluation) к переориентации на выполнение прогностических функций, инструмента для гибкой, оперативной подстройки, корректировки стратегии и планов достижения конечной цели [5].Представленная таблица наглядно демонстрирует ключевые тренды в области оценки, переход от «традиционной» – к оценке «нового поколения» [11]:
    Традиционная оценка Оценка нового поколения
    1. Ориентация на отдельные программы и проекты
    2. Утверждённый план оценки, предполагающий выпуск промежуточных и годовых отчётов
    3. Традиционные методы сбора данных
    4. Единственный фонд + единственный грантополучатель = одна оценка
    5. Традиционные способы подготовки и презентации отчётов
    6. Сбором информации занимается оценщик
    1. Ориентация на всю систему в целом
    2. Краткосрочные оценочные циклы, основанные на получении обратной связи с помощью альтернативных форматов взаимодействия в режиме реального времени
    3. Инновационные и нередко цифровые методы сбора данных
    4. Распределение обязанностей между множеством организаций с целью сбора данных и получения информации из различных источников
    5. Разнообразные методы визуализации данных и использование инфографики
    6. Сбором данных занимаются все причастные стороны, которые в дальнейшем становятся пользователями полученной информации

    Список источников:

    1. WikiVOIS – помощник НКО в вопросах оценки эффективности // Дайджест №42, 2013
    2. Внедряя передовой опыт, семь раз отмерьте: советы для НКО // Дайджест №45, 2014
    3. Инструмент для определения стоимости социального результата // Дайджест №54, 2014
    4. Исследование: «дизайнерские» принципы для оценочной практики в социальной сфере // Дайджест №42, 2013
    5. Как изменилась оценка за 50 лет? // Дайджест №39, 2013
    6. Как повысить отдачу от вложенных ресурсов: советы крупного фонда // Дайджест №45, 2014
    7. Как примирить доказательства с инновациями // Дайджест №51, 2014
    8. Классификация результатов социальных преобразований: начало большого пути // Дайджест №47, 2014
    9. Мастерство оценки: как разглядеть социальный эффект на раннем этапе проекта // Дайджест №53, 2014
    10. Научные споры: есть ли связь между размером накладных расходов и эффективностью НКО? // Дайджест №46, 2014
    11. Новая оценка для социального сектора // Дайджест №43, 2014
    12. Новая платформа для оценки эффективности социальных преобразований // Дайджест №50, 2014
    13. О пользе оценки: Как впечатлить госзаказчиков в нестабильные времена // Дайджест №38, 2013
    14. О роли «доказательства» (evidence) в жизни донора и его окружения // Дайджест №40, 2013
    15. О ценности универсальных результатов // Дайджест №52, 2014
    16. От Теории изменений к системе управления результативностью // Дайджест №36, 2013
    17. Отчёт о неудачном опыте: «Стратегическое сканирование ландшафта» не стало популярным среди фондов // Дайджест №37, 2013
    18. Оценка – стратегический инструмент системных изменений // Дайджест №53, 2014
    19. Оценка в социальном секторе: значение общих систем измерения // Дайджест №48, 2014
    20. Оценка деятельности НКО: в поисках понимания и единой терминологии // Дайджест №50, 2014
    21. Оценка качества общественных изменений: обзор тенденций от самого известного оценщика США // Дайджест №48, 2014
    22. Оценка социальной ценности: практика ответственного бизнеса // Дайджест №53, 2014
    23. Оценка социальной эффективности для малых и средних НКО // Дайджест №54, 2014
    24. Оценка эффективности грантовых программ – проблема в сфере прав человека // Дайджест №40, 2013
    25. Оценка эффективности НКО: обучение превыше всего // Дайджест №46, 2014
    26. Оценка эффективности НКО: что надо знать о показателях социальных изменений // Дайджест №38, 2013
    27. Оценочная практика крупных НКО со сложной структурой: советы профессионалов // Дайджест №46, 2014
    28. Оценочная практика НКО: как определить стоимость социального результата // Дайджест №49, 2014
    29. Перегруппировка сил в сообществе оценщиков социальной эффективности // Дайджест №54, 2014
    30. Постоянно общаясь с грантополучателями, фонды становятся эффективнеe // Дайджест №41, 2013
    31. Практическая ценность «Показателей 3.0» для сферы социальных инвестиций // Дайджест №51, 2014
    32. Проект «Геном социального эффекта»: как оцифровать и предугадать изменения в обществе // Дайджест №49, 2014
    33. Результаты оценочных исследований ждут достойного применения // Дайджест №44, 2014
    34. Рекомендации по использованию доказательной информации в социальной сфере // Дайджест №47, 2014
    35. Роль актуальных данных в сфере филантропии // Дайджест №37, 2013
    36. Советы для фондов: простые способы проверки эффективности // Дайджест №47, 2014
    37. Создавая Теорию изменений, не допускайте ошибок // Дайджест №41, 2013
    38. Сторонников «филантропии, основанной на доказательствах» становится меньше? //Дайджест №50, 2014
    39. Что мы имеем в виду, рассуждая о «данных» // Дайджест №51, 2014
    40. Широкие масштабы деятельности с подтвержденной эффективностью – путь к увеличению общественных благ // Дайджест №52, 2014

    [1] Дайджесты, которые с 2010 года ежемесячно готовит некоммерческая организация «Эволюшн энд Филантропи», представляют собой обзоры ключевых статей ведущих международных ресурсов по теме филантропии и благотворительности (Stanford Social Innovation Review, The Chronicle of Philanthropy, Alliance, Nonprofit Quarterly, Third Sector, Harvard Business Review, The Foundation Center и другие). Сайт Дайджеста – http://ep-digest.ru/

    [2] На русский язык условно можно перевести как «дизайн-мышление», «дизайн-подход», «дизайн-менеджмент».

    Автор обзора — Наталия Фреик, эксперт-аналитик E&P

    Скачать обзор в формате pdf.

PinterestGoogle+LinkedInTwitterFacebookVKPrintShare
Опубликовано в 2014, Исследования и аналитика Метки: , ,
Благодарим нашего учредителя Н.А.Цветкова и его семью за поддержку нашей деятельности

Яндекс.Метрика

Архив новостей