Оценка социального воздействия. Опыт ЭиФ (E&P)

Предпосылки и основа для исследования:

В 2013 году, при подготовке первого публичного отчета за 5-ти летний период деятельности перед организацией встал вопрос об оценке достигнутых социальных изменений и прогрессе к достижению своей миссии. Данный вопрос был поставлен Учредителем, Николаем Александровичем Цветковым.

Миссия ЭиФ (E&P) на тот момент звучала как – «содействие эффективному развитию некоммерческого  сектора и благотворительности в России через распространение международного опыта и обмен знаниями». В рамках реализации своей первоначальной миссии, ЭиФ (E&P) распространяла и способствовала внедрению лучших практик в области фандрайзинга и финансовой устойчивости, отчетности и прозрачности НКО, а также оценки эффективности социальных инвестиций.

Прежде чем приступить к оценке социальных изменений, необходимо было разобраться, что для организации подразумевается под социальными изменениями. Для этих целей, была сформирована цепочка социальных результатов – или облегченная версия Теории изменений, инструмента, позволяющего выстраивать логические цепочки от ресурсов к социальным изменениям и устанавливать причинно-следственные связи между ресурсами и социальными изменениями. В качестве конечного результата или социального изменения было принято повышение российскими НКО эффективности своей деятельности, достижение которого, по мнению организации, является подтверждением правильного вектора на пути к реализации миссии.

Деятельность / Задачи Непосредственный результат Промежуточный социальный результат Конечный соц. результат — изменения
Разработка методических, аналитических и информационных продуктов Специалисты НКО получили уникальные продукты Специалисты НКО повысили компетенции по фандрайзингу, оценке и отчетности НКО повысили эффективность своей деятельности
Проведение обучающих мероприятий на темы фандрайзинг, оценка и отчетность Специалисты НКО приобрели новые знания и навыки НКО внедрили лучшие зарубежные практики в области фандрайзинга, оценки и отчетности
Создание профессиональных сетей для продвижения продуктов и знаний Созданные профессиональные сети объединяют специалистов НКО сектора

Польза от данной работы заключалась не только в том, чтобы корректно сформировать техническое задание на оценку, но и в том, чтобы продемонстрировать, за что организация отчитывается в указанном периоде и за что организация подотчетна перед Учредителем и другими стейкхолдерами в долгосрочной перспективе. То, что было достигнуто за 5 лет, в основном, касалось непосредственных результатов, выраженных в количестве  созданных продуктов, охваченных благополучателей и, частично, промежуточных социальных результатов.

В принципе, это соответствовало стратегии организации, разработанной при поддержке PricewaterhouseCoopers в 2008 году. Так, изначально определенная эволюция стратегической роли организации, заключалась в движении от накопителя (брокера международных знаний, содействующего налаживанию международных контактов),  к разработчику (адаптирующему и создающему собственные продукты и каналы трансляции знаний), в перспективе – к эксперту (распространяющему  адаптированные или собственные разработанные продукты, оказывающему консалтинговые услуги).

Помимо результатов исследования, речь о котором пойдет дальше, ЭиФ (E&P) провела сравнение своей оценочной практики (принятых подходов) с международной практикой. В частности, с одним из близких по целям и задачам исследованием Центра эффективной филантропии (Center for Effective Philanthropy, США).

Характеристики исследования:

В качестве задач, которые ЭиФ (E&P) сформулировала для проведения оценки (не только социальных изменений, но и в целом, результатов деятельности в рамках реализации своих стратегических ролей) вошли следующие:

  • выяснение уровня осведомленности и знания целевых групп о результатах деятельности, продуктах ЭиФ (E&P), получение оценки их качества, каналов распространения, изучение опыта практического использования;
  • изучение уровня удовлетворенности партнеров взаимодействием с ЭиФ (E&P);
  • оценка соответствия качества продуктов и партнерского взаимодействия потребностям и ожиданиям целевых групп;
  • выяснение актуальных потребностей целевых групп в продуктах и формах взаимодействия с ЭиФ (E&P);
  • оценка вклада ЭиФ (E&P) в развитие некоммерческого сектора в России.

В качестве объектов исследования были выбраны три целевые группы, исходя из текущих приоритетов E&P, формата, способов и интенсивности взаимодействия и воздействия:

Целевая группа Описание Описание практики взаимодействия
внутренние партнеры НКО и бизнес-компании —  стратегические партнеры ЭиФ (E&P) (объединенные одним Учредителем – Николаем Цветковым) информационные мероприятия, разрабатывались и апробировались совместные продукты
внешние партнеры представители российских некоммерческих организаций, грантовая поддержка от E&P, привлечение в качестве экспертов, участие в реализации совместных проектов
представители широкой общественности интерес к проблематике развития НКО сектора и благотворительности подписчики прямой рассылки и изданий E&P, участники тематических групп в социальных сетях

Оценка проводилась методом очного полуформализованного интервью (10 человек, отобранных из числа внутренних и внешних партнеров) и онлайн анкетирования (общий объем рассылки запроса 633 человека – широкая общественность). Уровень отклика по онлайн анкетированию составил около 7% (что в целом соответствует общепринятым показателям).

В таблице ниже представлена характеристика выборки, из которой следует, что отклики в основном поступали из московского региона (75%), преимущественно от представителей НКО, осуществляющих операционную деятельность (52%), в большинстве случаев (83%) – от руководителей организаций, подразделений или менеджеров проектов.

Характеристика выборки (в %), N=57
Регион
  • Московский регион
75
  • Центральный федеральный округ
5
  • Северо-Западный округ
7
  • Сибирский федеральный округ
4
  • Приволжский федеральный округ
5
  • Другое
4
Тип организации, в которой работают респонденты
  • фонд, грантодающая организация
19
  • некоммерческая организация (операционная деятельность)
52
  • образовательная, научно-исследовательская организация
4
  • бизнес-компания – стратегический партнер/участник «Конгломерата»
5
  • бизнес-компания
9
  • другое
11
Кем работают
  • руководитель организации
32
  • руководитель структурного подразделения организации
32
  • менеджер проектов
19
  • специалист организации
7
  • независимый консультант
7
  • другое
4

Руководством организации было принято решение провести исследование преимущественно собственными силами, за исключением проведения полуформализованных интервью, на которые привлекались внешние эксперты с целью обеспечения анонимности, повышения искренности и открытости оценок. Помимо соображений финансовой экономии, на это решение повлияли следующие факторы:

  • наличие базовых компетенций у штатных сотрудников организации по разработке программы оценки, инструментария и обеспечению обработки и анализа данных;
  • желание организации использовать исследование как инструмент приобретения новых знаний и опыта, обучения и извлечения уроков;
  • возможность на стадии формирования отчета гибко учитывать реакции коллег, шире вовлекать сотрудников в обсуждение результатов, вырабатывать рекомендации;

Тем не менее, руководство ЭиФ (E&P) четко представляло ограничения данного подхода. В частности:

  • проведение исследовательской работы штатными сотрудниками ЭиФ (E&P) увеличивало продолжительность исследования, с учетом их текущей загрузки;
  • нельзя было полностью исключить субъективизм и заинтересованность в интерпретации и подаче данных;
  • обращение к бесплатному ресурсу Google для проведения онлайн анкетирования имело ограничения, которые сказались на глубине количественного анализа.

Результаты исследования:

На основании анализа данных, собранных в ходе исследования ЭиФ (E&P), были сделаны следующие общие выводы:

  • ЭиФ (E&P) воспринимается как уникальная организация в России, которая, опираясь на передовой мировой опыт, последовательно продвигает темы, важные для развития некоммерческого сектора и благотворительности.
  • Усилия организации высоко ценятся партнерами, теми организациями, которые получали поддержку на свое институциональное развитие, заинтересованными представителями широкой общественности;
  • Имеет место нечеткое позиционирование ЭиФ (E&P) в сообществе: центр экспертизы в областях, связанных с профессиональным развитием НКО-сектора в России или, преимущественно, грантодающая организация для поддержки инновационных проектов;

 

В отношении ключевого вопроса, касающегося социальных изменений, был сделан следующий вывод: Масштабы влияния компании на развитие НКО РФ оцениваются сдержанно. Основные причины: слабый спрос на инновации в некоммерческом секторе, инертность НКО; сама организация обладает ограниченными ресурсами для того, чтобы уровень ее влияния стал критически значимым.

С презентацией касательно результатов исследования можно познакомится по ссылке.

Сравнение подходов:

Для того, чтобы понять насколько корректно было организовано и проведено само исследование, насколько качественно были сформулированы выводы и какие были получены уроки, ЭиФE&P обратилось к опыту схожей по миссии и целям международной организации – Центр эффективной филантропии (Center for Effective Philanthropy (СЕР), USA).

Содержательно исследование СЕР составляло из трех основных  тематических блоков, которые представлены и в исследовании ЭиФ (E&P):

  • знакомство/знание «продуктов» организации;
  • восприятие и мнения об организации в целом;
  • влияние СЕР на организационные практики целевых групп.

Между тем, был выявлен и ряд особенностей, которые ЭиФ (E&P) было бы полезно учесть при проведении будущих исследований. Так в исследовании CEP присутствовали следующие элементы:

  • В числе вопросов, задаваемым респондентам присутствовали вопросы в отношении узнаваемости организации в секторе как одно из подтверждений ее влияния и достижения миссии;
  • Было проведено дополнительное исследование о месте компании в ряду других аналогичных организаций или на специализированных рынках продуктов;
  • Применялись два ключевых критерия сегментации целевых аудиторий: (1) по глубине обращения к ресурсам СЕР; (2) по изменениям, которые вносятся пользователями в свои организации благодаря применению продуктов СЕР;
  • Проводилось сравнение с результатами предшествующего исследования (2007 года), что обеспечивало преемственность основной части инструментария и результатов;
  • Исследование было проведено сторонней организацией (Learning for Action), которая специализируется на измерениях социальных программ воздействия.
Share
Метки: ,