Предпосылки и основа для исследования:
В 2013 году, при подготовке первого публичного отчета за 5-ти летний период деятельности перед организацией встал вопрос об оценке достигнутых социальных изменений и прогрессе к достижению своей миссии. Данный вопрос был поставлен Учредителем, Николаем Александровичем Цветковым.
Миссия ЭиФ (E&P) на тот момент звучала как – «содействие эффективному развитию некоммерческого сектора и благотворительности в России через распространение международного опыта и обмен знаниями». В рамках реализации своей первоначальной миссии, ЭиФ (E&P) распространяла и способствовала внедрению лучших практик в области фандрайзинга и финансовой устойчивости, отчетности и прозрачности НКО, а также оценки эффективности социальных инвестиций.
Прежде чем приступить к оценке социальных изменений, необходимо было разобраться, что для организации подразумевается под социальными изменениями. Для этих целей, была сформирована цепочка социальных результатов – или облегченная версия Теории изменений, инструмента, позволяющего выстраивать логические цепочки от ресурсов к социальным изменениям и устанавливать причинно-следственные связи между ресурсами и социальными изменениями. В качестве конечного результата или социального изменения было принято повышение российскими НКО эффективности своей деятельности, достижение которого, по мнению организации, является подтверждением правильного вектора на пути к реализации миссии.
| Деятельность / Задачи | Непосредственный результат | Промежуточный социальный результат | Конечный соц. результат — изменения |
| Разработка методических, аналитических и информационных продуктов | Специалисты НКО получили уникальные продукты | Специалисты НКО повысили компетенции по фандрайзингу, оценке и отчетности | НКО повысили эффективность своей деятельности |
| Проведение обучающих мероприятий на темы фандрайзинг, оценка и отчетность | Специалисты НКО приобрели новые знания и навыки | НКО внедрили лучшие зарубежные практики в области фандрайзинга, оценки и отчетности | |
| Создание профессиональных сетей для продвижения продуктов и знаний | Созданные профессиональные сети объединяют специалистов НКО сектора |
Польза от данной работы заключалась не только в том, чтобы корректно сформировать техническое задание на оценку, но и в том, чтобы продемонстрировать, за что организация отчитывается в указанном периоде и за что организация подотчетна перед Учредителем и другими стейкхолдерами в долгосрочной перспективе. То, что было достигнуто за 5 лет, в основном, касалось непосредственных результатов, выраженных в количестве созданных продуктов, охваченных благополучателей и, частично, промежуточных социальных результатов.
В принципе, это соответствовало стратегии организации, разработанной при поддержке PricewaterhouseCoopers в 2008 году. Так, изначально определенная эволюция стратегической роли организации, заключалась в движении от накопителя (брокера международных знаний, содействующего налаживанию международных контактов), к разработчику (адаптирующему и создающему собственные продукты и каналы трансляции знаний), в перспективе – к эксперту (распространяющему адаптированные или собственные разработанные продукты, оказывающему консалтинговые услуги).
Помимо результатов исследования, речь о котором пойдет дальше, ЭиФ (E&P) провела сравнение своей оценочной практики (принятых подходов) с международной практикой. В частности, с одним из близких по целям и задачам исследованием Центра эффективной филантропии (Center for Effective Philanthropy, США).
Характеристики исследования:
В качестве задач, которые ЭиФ (E&P) сформулировала для проведения оценки (не только социальных изменений, но и в целом, результатов деятельности в рамках реализации своих стратегических ролей) вошли следующие:
- выяснение уровня осведомленности и знания целевых групп о результатах деятельности, продуктах ЭиФ (E&P), получение оценки их качества, каналов распространения, изучение опыта практического использования;
- изучение уровня удовлетворенности партнеров взаимодействием с ЭиФ (E&P);
- оценка соответствия качества продуктов и партнерского взаимодействия потребностям и ожиданиям целевых групп;
- выяснение актуальных потребностей целевых групп в продуктах и формах взаимодействия с ЭиФ (E&P);
- оценка вклада ЭиФ (E&P) в развитие некоммерческого сектора в России.
В качестве объектов исследования были выбраны три целевые группы, исходя из текущих приоритетов E&P, формата, способов и интенсивности взаимодействия и воздействия:
| Целевая группа | Описание | Описание практики взаимодействия |
| внутренние партнеры | НКО и бизнес-компании — стратегические партнеры ЭиФ (E&P) (объединенные одним Учредителем – Николаем Цветковым) | информационные мероприятия, разрабатывались и апробировались совместные продукты |
| внешние партнеры | представители российских некоммерческих организаций, | грантовая поддержка от E&P, привлечение в качестве экспертов, участие в реализации совместных проектов |
| представители широкой общественности | интерес к проблематике развития НКО сектора и благотворительности | подписчики прямой рассылки и изданий E&P, участники тематических групп в социальных сетях |
Оценка проводилась методом очного полуформализованного интервью (10 человек, отобранных из числа внутренних и внешних партнеров) и онлайн анкетирования (общий объем рассылки запроса 633 человека – широкая общественность). Уровень отклика по онлайн анкетированию составил около 7% (что в целом соответствует общепринятым показателям).
В таблице ниже представлена характеристика выборки, из которой следует, что отклики в основном поступали из московского региона (75%), преимущественно от представителей НКО, осуществляющих операционную деятельность (52%), в большинстве случаев (83%) – от руководителей организаций, подразделений или менеджеров проектов.
| Характеристика выборки (в %), N=57 | |
| Регион | |
|
75 |
|
5 |
|
7 |
|
4 |
|
5 |
|
4 |
| Тип организации, в которой работают респонденты | |
|
19 |
|
52 |
|
4 |
|
5 |
|
9 |
|
11 |
| Кем работают | |
|
32 |
|
32 |
|
19 |
|
7 |
|
7 |
|
4 |
Руководством организации было принято решение провести исследование преимущественно собственными силами, за исключением проведения полуформализованных интервью, на которые привлекались внешние эксперты с целью обеспечения анонимности, повышения искренности и открытости оценок. Помимо соображений финансовой экономии, на это решение повлияли следующие факторы:
- наличие базовых компетенций у штатных сотрудников организации по разработке программы оценки, инструментария и обеспечению обработки и анализа данных;
- желание организации использовать исследование как инструмент приобретения новых знаний и опыта, обучения и извлечения уроков;
- возможность на стадии формирования отчета гибко учитывать реакции коллег, шире вовлекать сотрудников в обсуждение результатов, вырабатывать рекомендации;
Тем не менее, руководство ЭиФ (E&P) четко представляло ограничения данного подхода. В частности:
- проведение исследовательской работы штатными сотрудниками ЭиФ (E&P) увеличивало продолжительность исследования, с учетом их текущей загрузки;
- нельзя было полностью исключить субъективизм и заинтересованность в интерпретации и подаче данных;
- обращение к бесплатному ресурсу Google для проведения онлайн анкетирования имело ограничения, которые сказались на глубине количественного анализа.
Результаты исследования:
На основании анализа данных, собранных в ходе исследования ЭиФ (E&P), были сделаны следующие общие выводы:
- ЭиФ (E&P) воспринимается как уникальная организация в России, которая, опираясь на передовой мировой опыт, последовательно продвигает темы, важные для развития некоммерческого сектора и благотворительности.
- Усилия организации высоко ценятся партнерами, теми организациями, которые получали поддержку на свое институциональное развитие, заинтересованными представителями широкой общественности;
- Имеет место нечеткое позиционирование ЭиФ (E&P) в сообществе: центр экспертизы в областях, связанных с профессиональным развитием НКО-сектора в России или, преимущественно, грантодающая организация для поддержки инновационных проектов;
В отношении ключевого вопроса, касающегося социальных изменений, был сделан следующий вывод: Масштабы влияния компании на развитие НКО РФ оцениваются сдержанно. Основные причины: слабый спрос на инновации в некоммерческом секторе, инертность НКО; сама организация обладает ограниченными ресурсами для того, чтобы уровень ее влияния стал критически значимым.
С презентацией касательно результатов исследования можно познакомится по ссылке.
Сравнение подходов:
Для того, чтобы понять насколько корректно было организовано и проведено само исследование, насколько качественно были сформулированы выводы и какие были получены уроки, ЭиФE&P обратилось к опыту схожей по миссии и целям международной организации – Центр эффективной филантропии (Center for Effective Philanthropy (СЕР), USA).
Содержательно исследование СЕР составляло из трех основных тематических блоков, которые представлены и в исследовании ЭиФ (E&P):
- знакомство/знание «продуктов» организации;
- восприятие и мнения об организации в целом;
- влияние СЕР на организационные практики целевых групп.
Между тем, был выявлен и ряд особенностей, которые ЭиФ (E&P) было бы полезно учесть при проведении будущих исследований. Так в исследовании CEP присутствовали следующие элементы:
- В числе вопросов, задаваемым респондентам присутствовали вопросы в отношении узнаваемости организации в секторе как одно из подтверждений ее влияния и достижения миссии;
- Было проведено дополнительное исследование о месте компании в ряду других аналогичных организаций или на специализированных рынках продуктов;
- Применялись два ключевых критерия сегментации целевых аудиторий: (1) по глубине обращения к ресурсам СЕР; (2) по изменениям, которые вносятся пользователями в свои организации благодаря применению продуктов СЕР;
- Проводилось сравнение с результатами предшествующего исследования (2007 года), что обеспечивало преемственность основной части инструментария и результатов;
- Исследование было проведено сторонней организацией (Learning for Action), которая специализируется на измерениях социальных программ воздействия.