Outcomes Star — давно используемое и проверенное семейство инструментов измерений социальных результатов по более 20 различным общераспространённым социальным проблемам (в частности, бездомность, домашнее насилие, гражданское участие и другие). Оно используется и для диагностики состояния субъектов, и для оценки изменений этого состояния, и для сравнения. Измерения подразумевают строгий порядок того, как собирается информация, какие индикаторы и каким образом формируются на основе наблюдаемых данных. Соблюдение всех процедур гарантирует сравнимость измерений во времени и между различными организациями, применяющими инструмент.

Оценка по каждой проблеме касается одного конкретного субъекта — единицы измерения. В зависимости от применяемого инструмента это может быть неблагополучная семья, алкоголик и т.д. Оценка представляется несколькими социальными результатами (они же — индикаторы), для всех них применяется 10-бальная шкала. Это даёт возможность сравнивать изменения даже совершенно разных социальных субъектов и прогресс в изменении по разным социальным проблемам. Множественность социальных результатов в каждой оценке тоже принципиальна — она отражает комплексный характер любой проблемы и тот факт, что решение всегда включает достижение одновременно нескольких социальных результатов.

Имея данные об одном субъекте, можно формировать среднее по группе (клиентов организации) или по целой территории, на которой работает несколько организаций. Можно сравнивать данные до и после участия в программе, как это и показано на рисунке (красная и зелёная линии).

Представление данных выполняется при помощи звёздчатых диаграмм Outcomes Star, которые стали уже хорошо узнаваемым символом этого инструментария.

Имея документацию, а тем более, пройдя тренинг, каждый может применять методику. Для этого не требуется никакое программное обеспечение.

Имеется два вида лицензий на использование инструмента — с использованием интернет-сайта и без него.

Лицензия предоставляется только после прохождения тренинга. Это сделано для того, чтобы пользователи несли ответственность за качество публикуемых ими данных применения инструментов. Просто следование инструкциям (полная документация по применению методики доступна только тем, кто имеет лицензию) не гарантирует качества. Это качество требуется, чтобы результаты пользователей можно было сравнивать между собой и чтобы пользователь мог ссылаться на свои результаты во взаимоотношениях с представителями власти, которые признают замеры, выполненные при помощи Outcomes Star, в качестве подтверждения реальных изменений, под которые выделяются бюджетное финансирование. Методика настолько проверена и признана, что индикаторы Outcomes Star применяются инвесторами для оплаты по результату.

Лицензия без использования сайта даёт её обладателю статус лицензированной организации и право публиковать результаты применения инструмента под маркой Outcomes Star.

Лицензия с использованием сайта даёт помимо перечисленного выше возможность вводить и хранить данные наблюдений непосредственно на сайте и применять программное обеспечение сайта для вычисления всех индикаторов и формирования отчётов (визуализации данных).

Производить вычисления несложно, но формируемая на сайте база данных даёт пользователям возможность сравнивать свои результаты с другими. Этими данными можно также пользоваться, чтобы сравнивать территории, организации, двух клиентов проекта или две группы клиентов. Это особенно интересно для сравнения методов и форм работы с ними.

На сайте не указано, можно ли покупать данные для анализа, не приобретая лицензии. Неясно также, является ли обязательным поставлять свои данные на сайт или закрывать доступ к ним другим пользователям. Наверное, все такие возможности реализованы или будут постепенно расширяться. В частности, если с данными поставляется и финансовая информация, то можно было бы оценивать и эффективность усилий по конкретному клиенту, всей организации или программы или территории, или бюджетных расходов.

Стоимость лицензии без сайта — £16.50 на одного сотрудника на год, минимум — £330, т.е. минимум на 20 сотрудников. Тут имеются в виду сотрудники, непосредственно работающие с целевой группой и производящие замеры. Т.е. если сотрудник работает всего с одним подопечным, то применение инструмента обходится ему в указанные £16.50. Но большинство сотрудников работает с несколькими подопечными, поэтому расходы на оценку одного случая могут быть значительно снижены.

Стоимость лицензии с использованием сайта вдвое дороже — £33 на одного сотрудника, минимум — £660. Дополнительно к этому взимается общий взнос в размере £75 в год для развития онлайн-системы.

Имеется возможность заказать 30-дневное пробное бесплатное пользование онлайн-инструментами.

В России, как и в других странах, имеется немало разработок, на основе которых можно строить количественные оценки состояния субъекта, качества жизни или качества услуг по некоторой шкале. Однако, британская разработка Outcomes Star отличается основательной проработкой и проверкой процедур выставления баллов (диагностики/экспертизы) многочисленными исследованиями , а также высокой дисциплиной сбора данных (наблюдений и интервью) и усилиями по обучению пользователей. Количество сфер применения инструментария будет увеличиваться. Поэтому инструмент заслуживает внимания.

Outcomes Star не зависит от национальных особенностей, т.е. может быть применим в любой стране (безусловно, требуется перевод). В настоящее время он применяется в Австралии, Новой Зеландии, Канаде, Италии и Дании. Планируется его применение в других странах Европу и Китае. Держатели прав на применение инструмента приглашают специалистов из других стран переводить инструментарий на другие языки.

CF Insights

http://cfinsights.org/Tools/Overview.aspx

CF Insights / Foundation Center

79 Fifth Avenue
New York, NY 10003
United States of America

cfinsights@foundationcenter.org

CF Insights — хороший пример простейшей системы обмена через сайт полезной информацией между схожими организациями, в данном случае — между фондами местного сообщества (community foundation). В автоматизированном режиме каждый из них может сравнить свою деятельность с другими. CF Insights оказывает достаточно широкий спектр услуг фондам-членам, фактически сайт — это площадка, через которую фонды могут организовать взаимопомощь, не только онлайн.

В членах CF Insights состоит около 500 американских фондов местного сообщества. 240 из них ежегодно предоставляет свою годовую отчётность, которая включает десятки показателей о деятельности организации. Каждый из членов может бесплатно воспользоваться услугами сайта, чтобы сравнить показатели деятельности своего фонда со средними показателями группы других фондов. Группу можно сформировать самостоятельно, указав условия отбора (более 60 параметров). По имеющемуся массиву сведений о деятельности фондов местного сообщества можно сформировать более 80 разных видов докладов, включая и доклады по многолетним наблюдениям. Эти доклады относятся к вашему фонду, но используют данные обо всех. Здесь же вы можете воспользоваться сервисом по визуализации данных и сформировать готовые картинки (смотри рисунок) для презентации руководству вашего фонда.

CF Insights предоставляет своим членам ещё ряд услуг, способствующих принятию решений относительно управления активами фондов. Эти вопросы не охватывают социальную программную сферу, но касаются очень важных для фондов деятельности на финансовых и фондовых рынках. За каждым таким инструментом стоит аналитическая модель. Все инструменты реализованы в Excel файле. Они не требуют подключения к сайту. На сайте надо только скачать запрограммированные Excel файлы и инструкции для пользователей. Используя их, можно строить прогноз динамики активов в зависимости от того, как фонд будет ими управлять (как размещать на рынке) или в зависимости от рыночной ситуации (изменения активности тех или иных крупных рыночных игроков).

Ещё ряд услуг CF Insights связан с анализом внутриорганизационной деятельности: структура расходов и занятость персонала. Так же, как с анализом внешних операций, нужно работать с Excel файлом. Руководство подсказывает, какие данные ввести в таблицу. Затем по этим данным формируются другие таблицы, дающие наглядное представление о сильных сторонах, слабостях и устойчивости фонда с точки зрения внутриорганизационных расходов и доходов.

Все упомянутые модели применимы к американским рынкам и стандартам. Все выходные таблицы строятся только на основе данных самого фонда и не используют данные других.

Ежегодный членский взнос определяется по размеру активов фонда-члена:

По $20 с первых $250 млн. активов
По $10 со следующих $250 млн. ($250-500 млн.) активов
По $5 со следующих $250 млн. ($500-750 млн.) активов
С активов свыше $750 млн. взнос не взимается
Минимальный взнос составляет $200

Все российские фонды местных сообществ попадают в категорию с минимальным взносом.

Все указанные инструменты касаются измерений организационных параметров (performance measurement) и относятся к результату «Организационное развитие НКО». При этом данные индикаторы разработаны специально для американских фондов, что ограничивает их применимость в России даже для фондов местного сообщества.

LIIF Social Impact Calculator

http://www.liifund.org/calculator/

http://www.liifund.org/calculator-tool/

Low Income Investment Fund (LIIF)

http://www.liifund.org/

100 Pine Street, Suite 1800
San Francisco, CA 94111
T: 415.772.9094
F: 415.772.9095
E: info@liifund.org

На сайте реализован простой в использовании калькулятор стоимостной оценки общественной пользы (social value). Оценки выполняются для 5 программ (или социальных результатов): доступное жильё, развитие транспортной системы, услуги в раннем детском возрасте, образование и оздоровительные центры. Выбор программ, видимо, определяется приоритетами деятельности Фонда.

Во всех случаях оценка охватывает далеко не все аспекты полезности и не может быть признана полной. В общей сложности для всех 5 программ приводится 10 оценок. Т.е. из всего множества позиций, из которых складывается общественный выигрыш, для всех 5 программ выбраны только 10. Для них можно выполнить вычисления, указав параметры программы.

Например, общественная выгода от развития общественного транспорта (TOD — transit-oriented development) ограничивается только тем, что развитие транспортной системы приводит к улучшению здоровья жителей, а это, в свою очередь, приводит к экономии расходов на здравоохранение. Эти сэкономленные расходы и подсчитываются калькулятором. Для вычисления этой оценки достаточно указать два показателя и калькулятор немедленно сообщает сумму этой экономии.

В приведённом здесь примере нужно указать продолжительность программы (введено значение 1) и количество квартир, находящихся в зоне действия развития транспортного узла программы (введено 100). Вычисленный результат — 12 906 долларов.

Понятно, что развитие транспорта позитивно сказывается не только на улучшении здоровья, но калькулятор по этой программе (TOD) при оценке общественной пользы учитывает только этот аспект. Нужно также отметить, что оценка общественной полезности строиться безотносительно к содержанию социальной программы. Например, развитие общественного транспорта может осуществляться разными по содержанию проектами (достаточно сомнителен сам факто того, что оценка общественной полезности достаточно точно может вычисляться, исходя из всего двух параметров, как в приведённом выше примере). Калькулятор даёт ответ на вопрос: какова в денежном выражении будет общественная польза, если в жизни такой-то социальной группы произойдут такие-то изменения.

За вычислением каждой общественной пользы стоит определённая аналитическая модель или логика построения оценки и конкретные экспериментальные данные или данные исследований расходов (например, сравнение затрат частного и государственного центра на одного пациента) и, наконец, формула для вычисления. В каждом случае модель, включая все используемые оценки, и все числа приведены прямо на сайте, даются ссылки на доклады и статьи об исследованиях. Тут можно увидеть, что за простой формулой стоят серьёзные и нетривиальные исследования. Изучение этих соображений очень полезно. Во всех случаях используемая модель вызывает вопросы. Тут важен сам подход. В принципе каждый может разработать свою собственную модель и запрограммировать построенную на её основе формулу подсчёта общественной пользы. На сайте всем желающим предлагается присылать соображения по улучшению. Сам LIIF будет продолжать разрабатывать калькуляторы для различных социальных изменений, прежде всего, ориентируясь на свои собственные программы финансирования. Этим он ориентирует и своих грантополучателей. Тут уместно отметить, что точность, возможно, не самое главное. Важно иметь хоть какой-то ориентир для сравнения разных проектов или динамики одной организации. Какая бы модель вычисления не применялась, она будет оставаться приблизительной. Нужно руководствоваться практической пригодностью оценки для принятия решений, держа в уме и простоту, и низкую цену на оценку, и точность. В любом случае в нашем распоряжении оказывается 10 примеров стоимостной оценки общественного выигрыша от выполнения программы. Эти примеры можно использовать, решая аналогичные задачи.

Пользование калькулятором бесплатно. Его вообще, зная методику, нетрудно реализовать. Калькулятор можно скачать в формате excel-файла.

Для организаций, выполняющих проекты в России или вне США (они могут не подойти даже для соседних штатов или городов), эти калькуляции не представляют интереса, поскольку используют расценки из американской/местной жизни. Но сам подход может быть заимствован. Следует только помнить, что для того, чтобы сделать конкретную модель вычислений повсеместно применяемой, надо сильно потрудиться над обоснованием. Иначе она будет воспринята, как просто упражнение.

Value Insight

https://www.valueinsight.org/

Housing Associations’ Charitable Trust (HACT)

49-51 East Road, London, N1 6AH
Telephone: 020 7250 8500
Email: info@hact.org.uk
Tel: 020 7250 8500
Twitter: @value_insight

Value Insight использует методологию Wellbeing Valuation (оценка благополучия) для стоимостной оценки социального воздействия. Вычисления базируются на регулярных общенациональных опросах, позволяющих определять вклад различных факторов в ощущение благополучия[1] жителей конкретной территории. Например, устанавливается, как соотносятся снижение вредных выбросов и организация велодорожек в городе. Затем, путём тех же социологических опросов выявляется ценность каждого фактора в эквиваленте личных доходов. Например, жители могут считать, что появление в их городе оперного театра повышает их благополучие настолько же, насколько повышение их доходов на 1%. В целом эта методология сродни SROI, но отличается только в части исчисления стоимостного эквивалента.

Value Insight — это развитый калькулятор. Введя данные о своей инвестиционной деятельности можно вычислить в денежном выражении её влияние на сообщество. Вычисления используют разнообразные официальные данные и результаты специальных опросов, которые накапливаются в систем енезависимо от пользователей. В частности, на результатах опросов и специальных исследований в системе формируется регулярно обновляемая база данных стоимостных оценок различных социальных благ — Social Value Bank. Без использования этого Банка вычисления невозможны. Любые калькуляции привязаны к конкретной территории Великобритании.

Value Insight нужно рассматривать как инструмент планирования инвестиционной деятельности, он помогает выбрать воздействие с наилучшим эффектом. Он также ориентирован на вычисление стоимостных оценок с прицелом на получение бюджетных субсидий, поскольку их предоставление обусловлено оценкой стоимости предполагаемого социального эффекта. Правительство, однако, ориентируется в основном на SROI, хотя принимает любые методологии стоимостной оценки.

Value Insight — один из продуктов HACT (Housing Associations’ Charitable Trust). HACT объединяет организации, предоставляющие жилищные услуги. HACT предоставляет услуги жилищным организация (housing providers). Помимо Value Insight HACT развивает также ещё три продукта — Community Insight, Commonplace и Value Calculator.

Community Insight — геоинформационная система, аккумулирующая из открытых источников информацию о сообществах. Это пример того, как можно действовать по любой территории, или проблеме, или целевой группе, готовя информацию для тех, кто планирует и осуществляет соответствующие программы. Созданная HACT система пока не очень совершенна, охватывает не такое большое количество социально-экономических параметров и использует не все потенциально доступные открытые источники данных. Но она даёт направление развития и идеи для тех, кто развивает пространство социального действия, для доноров, инвесторов и органов власти. Community Insight именно информационная система, позволяющая понять социально-экономические условия той или иной местности. При этом имеется возможность прямо на карте начертить эту область и получить по ней доклад, содержащий агрегированные отчёты по разным аспектам местной жизни.

Commonplace — дополнение к Community Insight, позволяющее опрашивать жителей, что даёт жилищным организациям независимую оценку микрорайонов.

Value Calculator — тоже вариант калькулятора социального эффекта инвестиционный деятельности, реализованный в Excel. Из описаний непонятно, различаются ли вычисляемые параметры в Value Calculator и Value Insight.

Value Insight недешёвый продукт. Инструмент ориентирован на жилищные организации и учитывает их платёжеспособность и спрос. Сайт не даёт возможности пробного использования системы. Можно заказать демонстрацию.

Ежегодный взнос за использование системы равен £3500, но Value Insight продаётся только вместе с Community Insight, годовая стоимость которого равна £5000.

Value Insight показывает, что вычислительный алгоритм — не самое главное достоинство системы, позволяющей вычислять оценки социальных результатов и финансовые эквиваленты. Основная ценность заключается в наличие данных или моделей, которые строятся на исследованиях. Причём сбор данных и исследования необходимо проводить регулярно, чтобы располагать актуальной информацией. Расходы на такие исследования будут значительны. Но они окупаются повышением эффективности каждого проекта. Регулярная поддержка таких расходов возможно либо за счёт бюджетной поддержки (регулярной ежегодной), либо за счёт оплаты большой группы пользователей.

Algorhythm

http://algorhythm.io/

Algorhythm

30 South 15th Street
Philadelphia, PA 19102

Email: info@algorhythm.io

Tel: 267.225.8066

Система Algorhythm демонстрирует, что программная оценка — это часть системы принятия программных решений. Система преподносится, как Shared Impact Learning System (или iLearning System), что можно перевести как «система обмена опытом того, как можно добиться значимого социального эффекта» или так — «система обмена опытом эффективного социального воздействия». Или коротко — система обмена опытом социального действия. И хотя при продвижении системы много произносится привычных фраз типа «измерение результата», на самом деле эту систему лучше рассматривать, как механизм выделения сообществом того, что работает, и оказание помощи каждому участнику в выборе наилучшего подхода к его конкретному случаю. Формирование системы измерения результата, определение того, что было и что стало — важнейшие элементы системы, но она создавалась и развивается не ради этого. А ради самого результата. Она помогает пользователям принимать решения, чтобы улучшить социальный результат, а оценка или измерение результата — это вторично. Работа над результатом сопровождается его измерением, поэтому Algorhythm в полной мере представляет собой инструмент для программной оценки.

Применяемый подход включает использование мощного математического аппарата, современных информационных технологий и краудсорсинга для накопления, обработки и распространения опыта социальной деятельности.

Только в применении информационных технологий Algorhythm не выделяется среди других онлайн систем, которые предлагают удалённое хранение и обработку данных, информационный обмен между пользователями, сравнительный анализ, публикацию данных и отчётов. Во всём остальное усилия системы уникальны, но будут применяться и в других системах и добиваться лучшего результата.

При том, что мы имеем дело с одним онлайн-ресурсом, его можно рассматривать, как платформу, на которой можно выстроить любое количество систем поддержки, по любой проблеме. К настоящему моменту наиболее продвинулась разработка системы «Развитие молодёжи», но начата работа и над другими. Потенциально каждый пользователь может стать инициатором создания системы по новой проблеме. Они могут создаваться для общего доступа или для определённого ограниченного круга единомышленников, сообщества, корпоративные.

Каждая система предполагает, что её пользователи работают над одной проблемой в разных местах (и странах), они загружают в систему свой опыт и пользуются общей копилкой опыта для улучшения своей деятельности. Система позволяет наблюдать общую картину (например, в масштабах всей страны) для тех, кто принимает стратегические решения, и обеспечивает поддержку каждому пользователю с каждым конкретным случаем (например, неблагополучной семьёй) для тех, кто работает непосредственно с представителями целевой группой, для изменения жизни которых и осуществляется проект.

Строительство системы начинается с идентификации проблемы и целевой группы, разделение проблемы на крупные блоки, каждый из которых соответствует определённому социальному результату. Например, для молодёжи это — обретение профессии, снижение преступности, улучшение здоровья и т.д. Уже на этом этапе начинается сотрудничество широкого круга специалистов и практиков, разбирающихся в проблеме и путях её решения. Тут ставится задача выявить все возможные пути решения — работающие практики. Они и составляют «кирпичики» для планирования и выбора наилучших вариантов.

На следующем шаге собираются результаты предшествующих исследований, имеющиеся данные и организуется дополнительная работа специалистов, чтобы сформировать модель социального воздействия. На этом же шаге применяются инструменты анализа, чтобы извлечь максимум знаний из уже имеющихся данных. Статистический анализ позволяет определить, как проявляются себя различные практики в разных условиях. Например, для программы «Развитие молодёжи» было обработано 145 тысяч случаев из криминальной статистики, чтобы ответить на вопрос, как влияют на рецидив те или иные методы работы с молодыми людьми. Это иллюстрируется рисунком, где указано, что без вмешательства для молодого человека по имени James Jones, которого уже наказывали за хранение наркотиков, повторное правонарушение прогнозируется на уровне 75%. А при применении социальных практик A, C и F (методов социальной работы в этим молодым человеком) риск рецидива снижается до 45%.

Следующий шаг — выстраивание сообщества, занимающегося решением проблемы. Система предоставляет пользователям методы наблюдения за ситуацией (например, для молодёжной программы все участники проводят одинаковые опросы, все данные которых стекаются в систему). Это не просто рекомендация по выполнению социальных измерений, а это — накопление опыта. Выполняя исследование до и после, фиксируя свои действия и сообщая их системы, пользователь делает вклад в общую копилку опыта. Каждый новый опыт обрабатывается. Это позволяет уточнять модели, на основе которых выстраивается прогноз по каждому конкретному случаю и выносятся рекомендации о методах и формах социальной работы с представителем целевой группы. Аккуратная работа с данными (их учёт и загрузка в систему) многих пользователей, сфокусированных на одной проблеме, формирует ценную «базу знаний», пользование которой в масштабах страны или региона даёт большой общественный выигрыш. На основе всей накопленной информации можно сформировать разнообразные отчёты от прогресса/достижений конкретного человека (представителя целевой группы) или исполнителя проектов и до представления социальных сдвигов общенациональном масштабе. Т.е. система предоставляет как сервис по конкретному случаю, так и для большой (любой) группы усилий (проектов и работников одной организации; проектов, финансируемых одним донором, или власти некоторой административной единицы). Такой групповой анализ реализован в системе для грантодающих фондов. Инструмент позволяет не просто следить за прогрессом в исполнении проектов, но и выявлять, что работает, а что не очень и выстраивать свою политику на доказательной базе. На приведённом рисунке картина, которую наблюдает фонд. Здесь представлена и обобщающая информация, и сведения о конкретном проекте.

Algorhythm — это полноценная попытка краудсорсинга: данные исследований, опыт практиков и знания специалистов стекаются в одно место, обрабатываются качественными алгоритмами и трансформируются в прикладные инструменты, которыми на следующем витке используются практиками для социального действия — от конкретного случая до глобальной общественной политики.

Нужно ещё раз подчеркнуть, что функционирование и развитие системы не сводится, как это имеет место в других системах, к «обслуживанию пользователей», основная часть работы посвящена выстраиванию сообщества.

Оплата участия в сообществе осуществляется через членский взнос, который зависит от размера целевой группы. Расценки приводятся только для молодёжной программы:

по $125, если число целевая группа включает не более 50 молодых людей
по $225 — менее 100
по $500 — менее 250
по $875 — менее 500
по $1250 — менее 750
по $1500 — менее 1000

Фактически это означает, что за использование системы для планирования работы с одним молодым человеком нужно уплачивать 1,5-2 доллара.

Безусловно, это не включает сбор данных, которые ведёт сам исполнитель проекта. При этом планируется, что многие показатели выполненного проекта после его завершения будут загружены в систему. Algorhythm ориентируется на то, что расходы на оценку социальных результатов не превысят 3% от бюджета проекта.

Из рассмотренных систем Algorhythm — единственная, которая ориентируется именно на массовое участие в накоплении опыта. Поддержка общих усилий выступает основой для мотивированного участия.

Уже сейчас российские пользователи могут присоединиться к формируемому сообществу. А опыт Algorhythm’а должен непременно использовать при разработке систем поддержки программной оценки и социальных измерений.

Остаётся только отметить, что подход, используемый Algorhythm имеет много схожего с подходом, применяемом в проекте Program Genome, осуществляемом Mission Measurement (http://missionmeasurement.com/). Основное и важное отличие состоит в том, что в Program Genome формализация данных о проекте выполняется специалистами Mission Measurement, а в Algorhythm этот вопрос прорабатывается заранее и пользователь самостоятельно вводит данные о своей деятельности результатах. Т.е. накопление знаний осуществляется самим пользователями и не требует участия специалистов системы. Во-вторых, Program Genome даёт только прогноз результата и не собирает данные о результатах выполнения проекта, а Algorhythm помогает пользователю измерить результат и внести в систему. Т.е. накопление опыта в Program Genome отделено от пользователей, а Algorhythm принципиально выстраивается не вкладе и взаимодействии всех заинтересованных сторон. Обе системы дают оценки эффективности, но не монетизируют социальную полезность, как это можно делать в Sinzer.

Sinzer

http://www.sinzer.org

Sinzer BV

Gravenhekje 1A
1011 TG, Amsterdam

info@sinzer.org

Tel: +31 631 01 04 01

Система Sinzer развивается с 2008 года (первая версия называлась Social E-evaluator). Она задумывалась, как программный продукт для тех, кто применяет методологию Social Return on Investment (SROI) для оценки социальных результатов. В настоящее время Sinzer — самая подходящая система для тех, кто использует подход SROI. Кроме того, система поддерживает и подход MKBA (Maatschappelijke Kosten en Baten analyse — анализ социальных затрат и выгод), разработанный в Голландии (аналогичен SROI, но адаптирован к Голландии, в частности в стоимостных оценках). Анонсируется также, что Sinzer будет интегрировать и другие, в которых заинтересованы пользователи системы.

Поддержка подхода SROI проявляется уже на этапе планирования проекта. Пользователь выбирает интересующую его целевую группу, планируемые социальные результаты и другие параметры, характеризующие проект. Все соответствующие базы данных содержатся в системе. Таким образом, система помогает пользователю сформировать систему измерения результатов для своего проекта, отвечающую методологии SROI. Планируя проект, подбирая его характеристики, пользователь может увидеть на экране прогноз стоимостной оценки и эффективности для разных проектных сценариев. Эту разработку пользователь может сохранить в качестве действующего проекта. Затем ему нужно будет самому производить наблюдения, собирать данные и вводить в систему сведения о том, как меняются наблюдаемые им социальные результаты. Каждый раз она будет пересчитывать стоимостные оценки и эффективность. Пользователь может визуализировать эту информацию в любых разрезах по всем своим проектам (по проектам, по территориям, результатам, целевым группам, времени) и обеспечить создание отчётов или публикации на других сайтах.

Пригодность системы во многом зависит от полноты баз данных социальных результатов и других сведений. Отсутствие какой-то информации лишает систему целых классов проектных сценариев. Это не закрывает пользователю возможность в этих случаях определять свои целевые группы и социальные результаты, разрабатывать собственные индикаторы и собирать данные для стоимостных оценок. При этом пользователь может придерживаться методологии SROI или любой другой. Ясно, что соответствующие базы данных будут постоянно пополняться и обновляться. С этой целью Sinzer сотрудничает со специалистами SROI и сетью организаций, применяющих эту методологию. Методология SROI не даёт готовых рецептов для проектных решений — это набор принципов и процедур, используя которые каждый может выстроить собственную систему измерений. Но сообщество тех, кто применял эту методологию, уже накопило много готовых решений. Развитие методологии и накопление примеров её применения отражается на других онлайн-ресурсах[2]. В будущем Sinzer планирует автоматизированное подключение к таким ресурсам для SROI и других подходов, чтобы автоматически обновлять свои базы данных.

Для сбора данных о социальном результате система позволяет осуществлять онлайн опросы представителей целевых групп. Имеется возможность проведения сравнительного анализа, но для этого используются только данные отчётов того же пользователя.

В ней также реализованы различные стандартные инструменты универсальной управленческой системы — хранение данных, управление многими пользователями, формирование отчётов в разных форматах, управление одновременно несколькими отчётами.

Система не допускает пробного использования, но можно заказать демонстрацию онлайн с участием сотрудника.

Цена за пользование системой на сайте не приводится, что нужно рассматривать её, как договорную.

Пример Sinzer показывает, что трудно сделать систему, удовлетворяющую запросы пользователей разных стран. Практически все пользователи Sinzer — голландские организации. Скорее всего они пользуются подходом MKBA. Какая бы методология не применялась, она будет использовать специальные массивы данных (например, стоимостные оценки) и кто-то должен заниматься поддержанием таких баз данных в актуальном состоянии. В данном случае этот вопрос решается не Sinzer, а большим международным сообществом пользователей SROI, которое сформировалось раньше создания системы. Качественное решение задач развития методологии, актуализации вспомогательных баз данных и накопление полезного для других пользователей опыта может обеспечить только достаточно мощное сообщество. В Sinzer эти задачи решаются сотрудничеством с уже функционирующими сообществами.

Чтобы заинтересовать российских пользователей этой системой нужно перевести интерфейс на русский (не технически несложная задача). Но самое главное, потребуется сформировать базы данных, отражающие российские условия (набор социальных результатов) и данные для стоимостных оценок. Тем самым, проблема сводится скорее к вопросу о том, какое российское сообщество будет регулярно актуализировать вспомогательные базы данных. На этом фоне русификация не представляется проблемой.

Results Scorecard

http://resultsscorecard.com/

Results Scorecard, LLC

11300 Rockville Pike, Suite 1001
Rockville, MD 20852

Email: info@resultsscorecard.com
Tel: (301) 907-7541

Results Scorecard — самая развитая из всех рассмотренных универсальных систем. Она позиционируется как система принятия решений и не связана непосредственно с решением специфических задач программной оценки.

Тем не менее, система имеет 2 существенные характеристики, делающими её полезной для оценки.

Во-первых, пользователю системы обеспечивается помощь в разработке системы измерения результатов. Для этих целей специально разработана методология Result-Based Assessment (RBA) — оценка результата. Сама методология — набор принципов. Она даёт подход, применение которого пошагово поможет разработать подходящие результаты и индикаторы, определиться со сбором требуемых данных. В этом она похожа на SROI, но эта система не даёт готового набора социальных результатов на выбор. Всё должен разрабатывать сам пользователь. В набор предоставляемых услуг входит онлайн помощь консультанта, который поможет выполнить эту работу. В этом смысле система считает важным наличие системы измерения результата. Это отличает её от других универсальных систем, которые позволяют отслеживать и результат, но ориентированы на обеспечение процессам управления. В Results Scorecard подразумевается, что проекты выполняются ради результата, а не процесса.

Во-вторых, храня информацию предшествующих пользователей, система обеспечивает возможность не изобретать свой собственный проект, а воспользоваться чужим. Тем самым, в системе реализован обмен опытом проектной деятельности. В том числе это касается и систем измерений. Выбор аналогичных проектов осуществляется по базе данных индикаторов. Пользователь может посмотреть, каких результатов в изменении того или иного индикатора добились исполнители другого проекта и воспользоваться их наработками.

Сколько в этой базе знаний готовых решений не указывается. Неясно также, насколько широко эти заготовки охватывают всё множество социальных проблем и географию.

Нужно также отметить развитый подход системы к публикации (распространению) отчётов, которые можно встроить в другие сайты с автоматическим обновлением. Этот же инструмент может быть использован и для партнёрских проектов, чтобы все участники могли фактически в реальном времени отслеживать любые изменения в проекте на своих ресурсах. Системой поддерживается интерфейс программирования приложений, что фактически снимает ограничения по использованию данных сайта внешними приложениями. Обычно в таких системах этому не уделяется специального внимания.

Стоимость использования системы составляет $50 в месяц на одного пользователя (физического лица).

Можно зарегистрироваться для пробного использования.

Results Scorecard осуществляет специальную партнёрскую программу, в рамках которой можно стать консультантом и распространителем продукта в любой точке мира. Используемые продуктом алгоритмы и данные не привязаны к определённому региону или стране и он используется во многих странах. Уже сейчас продукт доступен на арабском и испанском языках. Ведётся работа по переводу его на французский, китайский и африканские языки. Переводу и распространению способствуют специальные программные средства (автоматизированной замены одного словаря/языка интерфейса пользователя на другой) и развитие международного сообщества людей, продвигающих методологию RBA.

Results Scorecard уже сейчас могут использовать российские пользователи.

Upshot

http://www.upshot.org.uk/

The Football Foundation

020 7842 8899

Email info@upshot.org.uk

Изначально Upshot был сделан в 2012 году для Football Foundation как грантодающей организации для эффективного управления сотнями своих грантополучателей. Успех этого корпоративного продукта привёл к тому, что теперь он развивается для широкого круга пользователей и в настоящее время применяется более, чем 200 организациях. Теперь система не фокусируется на функциях, интересующих грантодающую организацию, а применима и для управления одним проектом или проектами одной организации.

Система предоставляет все стандартные возможности универсальных управленческих систем. Она удобна и проста в использовании. Она отличается тем, что даёт возможность подключения карты и региональной информации, чтобы наглядно представлять ваши проекты на фоне социально-экономических проблем территории.

Система позволяет осуществлять онлайн и через электронную почту опросы с автоматическим подсчётом его результатов и формированием отчёта.

Другой удобный инструмент — документирование исследование случая (case study) — накопление данных по отдельному вопросу, включая составление и сбор комментариев, фото и видео материалов. В принципе в этом инструменте нет ничего нового, его можно организовать и обычными офисными средствами, но здесь это уже специально реализовано. Собрание таких материалов упростит в дальнейшем задачу при проведении оценки.

Эта система — удобный инструмент для автоматизации документооборота в организаций и для партнёрских проектов, но она бесполезна именно для решения задач программной оценки.

Пользование системой не предусматривает применение какой-либо определённой методологии. Для оценки социальных результатов пользователь должен самостоятельно определять свои показатели, собирать данные и вводить их в систему, т.е. сам разработать систему измерений. Затем она отражается в определяемых им структурах данных системы и далее применяется в режиме мониторинга.

Минимальная цена на использование системы для одной организации (не донора) — 50 фунтов стерлингов в месяц. К этому рекомендуется добавить платную (цена не указывается, но отмечается, что она небольшая) консультацию-обучение. Вместе с тем, пользователям предлагается воспользоваться дополнительными услугами персонала, чтобы сразу настроить систему на его индивидуальные нужды. Стоимость продукта увеличится, но поставщик готов учесть интересы пользователя и назначить цену, исходя из того, в каком объёме будет использоваться система и какую пользу это обещает организации-пользователю. Такой же подход применяется и в отношении донорских организаций, но годовая плата для них составляет 1000 фунтов стерлингов в год.

Тестового пользования не предусмотрено, но можно заказать индивидуальную демонстрацию или персонально проконсультироваться по системе.

Система вполне применима для использования в России (за исключением, возможно, встроенной картографической информации), но интерфейс пользователя будет на английском языке.

Fluxx

http://fluxx.io/, http://fluxx.io/knowledge/

Fluxx Labs LLC

575 Sutter Street, First Floor, San Francisco, CA 94102
Tel. 855-358-9946
info@fluxxlabs.com

Fluxx — развитая система управления грантовыми программами и совокупностью проектов одной организации, в том числе совместных проектов. Она не содержит специальных функций и возможностей, относящихся к оценке. Как и все подобные системы, она пригодна для мониторинга (выполнения плана деятельности и продвижения к цели), а также предоставляет массу возможностей визуализации данных и процессов, что, безусловно, улучшает принятие решений.

Мониторинг выполнения и достижения целей реализован «механически». Пользователь задаёт начальные и плановые значения показателей, вводит их изменения (проведение мероприятий и изменения в индикаторах) и имеет возможность в процентах и на графиках (во времени или по исполнителям и целям) наблюдать продвижение (в процентах) к запланированным значениям. При этом для всех результатов (в общем случае их несколько у одной программы) и индикаторов (их тоже может быть несколько для каждого результата) задаются веса, определяющие «важность» результата и индикатора среди всех. Эти веса учитываются при вычислении общего прогресса. Это очень удобно для больших организаций и программ, руководители которых могут в реальном времени наблюдать на одном экране всю картину выполнения многочисленных проектов. В данном случае на одном экране руководители имеют возможность видеть весь процесс и любые отклонения от планов. При этом данные о выполнении проектов поступают в базу данных через интернет сотрудниками проектов.

Подобная система подразумевает, что в организации разработана хорошая система измерения результатов, с чётким регламентом документооборота. Заранее известно, кто, когда, какую и какими методами информацию получает и вводит её в базу данных. Система не поможет в выборе результатов и индикаторов, она не располагает никакими другими данными, кроме тех, которые вводятся пользователями, и которые могли помочь в оценке (например, социально-экономическая информация или стоимостные оценки). Она также не содержит сведений о других проектах, чтобы можно было реализовывать функции обмена опытом и знаниями. Даже разные организации, пользующиеся Fluxx, не могут интегрировать свои данные в единую систему. Это возможно только в том случае, если группа организаций заранее договорилась о совместных действиях, но в этом случае она воспринимается системой, как одна организация.

Программа имеет три видимых недостатка, хотя возможно, они преодолеваются (в любом случае эти проблемы можно снять дополнительными действиями без использования Fluxx).

Во-первых, реализована иерархическая модель деятельности — программы, подпрограммы, проекты и т.д. Более важно то, что сейчас в организации несколько программ работают на одни и те же цели, используют одни и те же индикаторы. Документация по этому продукту не даёт ответа на вопрос, можно ли связывать мероприятия, индикаторы и данные из разных программ.

Во-вторых, продукт не предусматривает возможности интеграции с другими подобными системами. Т.е. подразумевается, что все участники пользуются Fluxx. Такая возможность была бы удобна для управления грантами или для партнёрских проектов. В предлагаемой версии придётся тратить дополнительные ресурсы, чтобы передавать данные между проектами.

В-третьих, непонятно также, реализованы ли в программном обеспечении возможности публикации данных и отчётов в интернете или получать электронную рассылку, могут ли сторонние участники (любой человек) наблюдать за выполнением проектов. Такие функции могла быть средством обеспечения общественной отчётности и прозрачности.

Продукт постоянно развивается, нет сомнения в том, что каждый год в нём появляются новые возможности, особенно для грантодающих организаций (Fluxx изначально создавался, как сервис для доноров, но теперь существенно занимается и созданием удобной среды для грантополучателей и соикателей грантов). Нужно указать, что Fluxx самый дорогой среди всех рассмотренных аналогичных систем. И это не кажется оправданным.

Цена полной системы: $800/месяц

Цена упрощённой (использование не всех возможностей, для простых проектов) версии: $495/месяц

Этой системой уже сейчас могут пользоваться российские НКО и грантодающие организации, хотя бы отдельных проектов. При том, что имеется возможность подписаться на бесплатное пробное использование продукта на 30 дней, этот программный продукт можно использовать в качестве примера при разработке инструментов для некоммерческого сектора.

Система очень подходит для управления и коммуникаций с грантополучателями грантовых конкурсов, проводимых в России органами власти.

[1] Подробности можно найти на сайте HACT в материалах Daniel Fujiwara. The social impact of housing providers — HACT, 2013 или Ben Carpenter. SROI and HACT’s Social Value Bank Linkages Paper — HACT and SROI Network, 2015

[2] Например, The Global Value Exchange — http://globalvaluexchange.org/

Скачать материал в формате .pdf по ссылке.

Метки: IT-технологии, аналитика, исследования, оценка, сетевые ресурсы

Сетевые ресурсы поддержки программной оценки (часть 2)

Краткие презентации программных продуктов

Outcomes Star

CF Insights

LIIF Social Impact Calculator

Value Insight

Algorhythm

Sinzer

Results Scorecard

Upshot

Fluxx

Метки

Архив новостей