Сетевые ресурсы поддержки программной оценки

1Уроки, тренды и перспективы

Развитие программных продуктов, поддерживающих программную оценку, идёт по пути создания онлайн систем, предоставляющих сервис всем сторонам, заинтересованным в решении конкретной общественной проблемы. Ценность ресурса определяет тем, что на нём усилиями участников аккумулируется вся полезная и необходимая любому заинтересованному лицу информация.

Цель развития ресурса  в том, чтобы помочь каждому индивидуальному участнику повысить результативность и эффективность своих проектов, направленных на решение соответствующей общественной проблемы. Измерение и оценка результатов — основная компонента системы. С этой целью система поддерживает в открытом режиме следующие совместные действия участников/пользователей/стейкхолдеров:

  1. Осуществляется совместная разработка систем измерения социальных результатов (формулируются сами результаты, разрабатываются индикаторы и соответствующие им методы и инструменты сбора данных). Это позволяет участнику воспользоваться уже готовой системой измерения, чтобы не разрабатывать свою систему оценки результата. Такая готовая система не только экономит время и ресурсы на разработку, но и оказывается более профессионально выполненной, а применение такой «стандартной» системы измерения результата позволяет в будущем сравнивать свои результаты с другими и агрегировать (складывать) результаты по группам организаций/проектов.
  2. Формируются единые базы данных проектов, на основе которых каждый из участников может оценить свой проект, сравнивая его с другими. Система в этом случае предоставляет возможности отбора «группы сравнения».
  3. Разрабатываются аналитические модели влияния социальных воздействий на изменения для целевых групп. Эти модели позволяют прогнозировать и оценивать (вычислять) социальные результаты и их денежное выражение. Имеется два подхода к формированию аналитических моделей. Один — применение методов коллективной работы экспертов (например, разработка теории изменений, специальные социальные исследования и научные результаты). Второй использует базу данных уже выполненных проектов (пример — система Algorythm, где аналитические модели разрабатываются на большом массиве проектов, на начальном этапе взять чей-то архив, а затем база дополняется проектами участников, на этой основе аналитическая модель уточняется).
  4. Аккумулируют данные из других источников (в основном популяционная информация) и другие материалы (методические, примеры реальных проектов, база данных цен). Эти данные не генерируются участниками, но полезны в их работе. Такая организация освобождает каждого участника от выполнения поиска нужной информации. В некоторых системах эти данные используются в вычислительных процедурах.

При этом функционирование системы/сайта сопровождается группой специалистов (по программной оценке), т.е. системы ещё  не могут работать в автономном режиме. Экспертная поддержка включает:

  • верификацию данных, поступающих от участников
  • модерирование коммуникаций (при совместных разработках)
  • централизованная обработка данных (для построения аналитических моделей).

В дополнение к этому в системах развиваются общие инструменты управления данными организации, расширяется практика «облачного»/удалённого хранения данных, поскольку в большинстве систем требуется формирование базы данных проектов (опыта предшествующей деятельности). Обычно эти данные хранятся в базах данных в компьютерах участников, внутри организации. Можно наладить копирование их в систему, а можно сразу хранить в системе и пользоваться, как у себя в офисе. Это особенно удобно, когда управленческая информация распределена между партнёрами, донорами и грантополучателями. Сейчас развиваются системы автоматизированного обмена между сайтами. Т.е. каждый из партнёров формирует базу данных о своей деятельности на своём сайте, а сайты обмениваются её так, что пользователь, работая на своём сайте даже не замечает, что его данные распределены по нескольким сайтам.

Хранение данных в системе снижает издержки на ввод данных, позволяет реализовывать автоматизированный обмен данными между партнёрами или между донорами и грантополучателями. Средства коммуникации развиваются так, что скоро можно будет обойтись без офисных программ и больших дисков — персональное устройство используется только для обмена, хранение и обработка осуществляется на сервере.

Важная технология, которая пока не реализована в системах, поддерживающих программную оценку (пока и в других сферах это реализовано в отдельных случаях, штучно) — big data. Это включает поиск в сети полезных данных и подключение их к системе (фактически включение в систему) и специальная обработка больших массивов (неточные, неструктурированные, часто обновляемые и неполные данные, но содержащие много наблюдений), чтобы извлечь из них полезную информацию для участников. Например, анализ сообщений в социальных сетях позволяет предсказать эпидемию гриппа точнее и быстрее, чем инструменты эпидемиологической службы. Технологии big data ещё только развиваются и пока не нашли приложения в системах для программной оценки.

Факторы успеха (по развитым странам):

  1. Наличие сообщества (открытого, широкого, массового) вокруг решения определённой проблемы: формирование и артикуляция запроса, сразу ответ на него (методологии и алгоритмы), система доверия (общие правила, взаимная открытость, совместный интерес вместо конкуренции).
  2. Совместные базы данных: отдать свои данные и воспользоваться общей базой гораздо выгоднее, чем действовать самостоятельно.
  3. Массовое участие: повышение качества, точности и надёжности оценки результатов требуют массового участия. Очень важно создать «критическую массу» пользователей или найти готовую базу данных проектов. Без этой критической массы в системе не будет накоплено достаточно данных (полезного опыта/знаний), чтобы заинтересовать новых пользователей, которые необходимы и для привнесения своего опыта, и для окупаемости системы (низкой платы за пользование).
  4. Коммерческие игроки: массовое участие породило коммерческий интерес — в производстве продуктов и баз данных (платно, но гораздо дешевле, чем делать самому). К этому добавляются социальные инвесторы (определяется механизмами бюджетного финансирования, зависит от политики). Это определяет поток инвестиций и привлекает ресурсы для поддержания и развития. Развитие системы сильно замедляется, если нет субъекта с коммерческим интересом.
  5. Интеграция: создание систем совместного пользования, которые обеспечивают автоматический обмен данными с другими сайтами. Фактически пользователь системы может подключить свой сайт к системе или наоборот. Тогда интернет-ресурсы специализируются каждый на своём (на одном сайте база данных проектов, на другом прайс-листы, на третьем модели, на четвёртом программы статистического анализа и т.д.), но объединены в единую систему. Примеры: The Global Value Exchange и Sinzer.

 Обобщённая информация о проанализированных системах

Классификация онлайн-систем, оценочные функции, услуги

Название системы Адрес в сети Интернет Характеристика, функции, сервисы
The Outcomes Star www.outcomesstar.org.uk Комплексный подход. Калькулятор результата, заготовки для системы измерения, агрегация
The CF Insights http://cfinsights.org/ Диагностика. Сравнительный финансовый / инвестиционный / организационный инструментарий
LIIF Social impact calculator http://www.liifund.org/calculator Калькулятор стоимостной оценки
Value Insight https://www.valueinsight.org/ Калькулятор стоимостной оценки.Агрегация открытых данных по конкретной территории (и проблеме)
Algorhythm http://algorhythm.io; http://algorhythm.io/youthdevelopmentilearningsystem/ Формирование сообщества, фокусирующегося на одной проблеме.Полный перечень инструментов – основные (оценочные) и вспомогательные:заготовки для системы измерения (результаты и показатели)создание аналитических моделейуправление конкретными случаями (case management) — прогноз, разработка воздействия

сервисы для доноров (аналитика «что работает» в проектах грантополучателей)

бенчмаркинг

стоимостные оценки

объединённая система исследований

база данных выполненных проектов

Sinzer http://www.sinzer.org/ Стоимостная оценка (SROI), заготовки для системы измерения (базы данных результатов, стейкхолдеров и показателей), агрегация.Возможность реализации / интеграции других методологий оценки результатов
Fluxx http://fluxx.io/ Универсальная (менеджмент, управление данными и мониторинг), публикации
Results Scorecard http://resultsscorecard.com/ Универсальная (менеджмент), заготовки для системы измерения, стоимостная оценка (RBA)
Upshot http://www.upshot.org.uk/ Универсальная (менеджмент и грант-менеджмент): мониторинг, управление данными проектов, супервизии доноров, геоинформационная система

Поддерживаемые сервисы

Система Универсальная Планирование (дизайн) проекта Готовые системы измерения результатов Измерение результата Бенчмаркинг Стоимост-ные оценки результатов
Outcomes Star l ll
The CF Insights l l ll
LIIF Social impact calculator l
Value Insight l ll
Algorhythm l ll l l ll
Sinzer ll l l l l
Results Scorecard ll l l ll l
Fluxx ll
Upshot ll

Условные обозначения:

Универсальная система управления (менеджмент) Планирование (дизайн) проекта Бенчмаркинг
l Обеспечивает ограниченные возможности хранения данных проекта в системе Копирование чужого проекта с возможностью внести свои изменения Сравнение между проектами одного пользователя
ll Полноценная система управления проектами Составление проекта (плана работы с конкретным субъектом целевой группы — молодым человеком) из содержательных блоков, выбор наиболее результативной комбинации Сравнение по всей базе данных проектов

Сведения о начале функционирования системы и её производителе/держателе

Система Запуск Страна Статус Производитель /держатель
Outcomes Star 2008 UK социальное предприятие Triangle Consulting Social Enterprise Limited
The CF Insights 2010 USA НКО The CF Insights / Foundation Strategy Group
LIIF Social impact calculator 2014 USA Благотворительн. организация Low Income Investment Fund
Value Insight 2014 UK Благотворительн. организация Housing Associations’ Charitable Trust (HACT)
Algorhythm 2015 USA социальное предприятие Algorhythm
Sinzer 2008 NL Ltd Sinzer BV
Results Scorecard 2013 USA LLC Results Scorecard, LLC
Fluxx 2014 USA LLC Fluxx Labs LLC
Upshot 2012 UK Благотворительн. организация The Football Foundation

Условные обозначения стран:

NL Нидерланды
USA США
UK Великобритания

Стоимость использования и целевые группы пользователей

Система Стоимость Количество пользователей Целевая группа
Outcomes Star £660/год, £33/пользователь/год ? Social Service Providers
The CF Insights $200 250 Community Foundations
LIIF Social impact calculator $0 ? Social Service Providers
Value Insight £3500/год 250 Housing Providers
Algorhythm $1-$2/клиент ? Youth Development Projects
Sinzer договорная 50
Results Scorecard $50/месяц/пользователь (минимум $250/месяц) 100
Fluxx $495, $800/месяц ?
Upshot £1000/год 200

Базовая методология

Система Методология Предмет
Outcomes Star Outcomes Star Outcomes
The CF Insights Activity-Based Costing Analysis Performance
LIIF Social impact calculator Valuation
Value Insight Wellbeing Valuation Approach Valuation
Algorhythm
Sinzer Social Return on Investments+ Outcomes
Results Scorecard Results-Based Accountability framework Outcomes
Fluxx
Upshot

 Развитие

Создание системы для поддержки системы социальных измерений и оценки результатов, включая стоимостную оценку, включает аналитическую часть и программирование.

Нужно сосредоточиться на решении первого круга задач. Программирование по сравнению с ними не представляет большого труда, особенно для специалистов, поскольку задачи методы детерминированы.

Аналитическая часть требует разработки.

Первый шаг — аналитика

Разработку следует вести проблемными кластерами (ресоциализация бывших заключённых, снижение смертности в ДТП и т.д.). Фактически, каждый проблемный кластер соответствует одному социальному результату и для каждого фиксирована бенефициарная группа (т.е. какая проблема и для кого решается).

В целом, реализуется онлайн платформа, которую можно наполнять аналитикой по любому кластеру и по любому количеству кластеров (их можно физически разнести по разным серверам, но архитектура будет одинаковой).

Создание системы осуществляется открытым сообществом, куда входят эксперты по проблеме, практики, ЛПР, специалисты по оценке, доноры, соответствующие профессиональные и другие ассоциации — все группы, которые могут внести вклад в создание аналитики, будут пользователями или интересы кого будут затронуты, когда система будет эксплуатироваться. Такая открытость не отменяет некоторых рабочих групп с фиксированным участием. В любом случае у каждого кластера должен быть модератор.

Причём именно открытая система — возможность подключения любого желающего.

Такое включение необходимо не только для разработки качественной системы. Это нужно, чтобы ей стали пользоваться достаточно массово. Каждый должен чувствовать свою причастность к разработке и развитию.

Только через такой подход удастся создать общую (shared) систему.

По каждому кластеру разрабатывается вся аналитика:

  • Теории изменений
  • Модели стоимостной оценки
  • Модели измерения/вычисления результата (через индикаторы)
  • Индикаторы и источники и методы сбора данных для формирования значений индикаторов
  • Перечень общих исследований, необходимых для уточнения аналитических моделей
  • Составление типового бюджета и трудовых затрат для реализации системы измерений (по каждому измеряемому параметру)
  • Идентификация массивов проектов, которые можно задействовать для начального наполнения системы.

На этом этапе требуются интенсивные коммуникации с ключевыми потенциальными участниками и  создание интернет-площадки для совместной открытой удалённой работы.

Второй шаг — услуга по формированию системы измерения

Разработанные кластеры размещаются на платформе так, что каждый желающий может выбрать для себя систему измерения. Конечно, это будет возможно для очень небольшого количества проблемных кластеров.

Пользователь в диалоговом режиме формулирует свою проблему, выбирает социальный результат и получает полное описание системы социальных измерений. Всё остальное он должен делать самостоятельно в своей организации.

Автоматически формируемая документация будет содержать описание всех данных, которые нужно собирать, весть план деятельности, которая должна сопровождать (быть интегрирована в систему менеджмента) выполнение проекта (и после).

Третий шаг — автоматизация части операций системы измерения

Скорее всего, третий шаг можно будет совместить со вторым. Как только будет наступать ясность, как измерять результат, это можно будет программировать. Программирование будет осуществляться очень быстро. Но открытие системы для общего пользования будет возможно только при достаточном наполнении данными и полной ясностью с аналитикой.

На этом шаге уже нужно будет получать много данных от пользователей. Поэтому резонно к этому моменту создать и простейшую систему управления данными организации.

В качестве основы прототипа подойдут Sinzer и Results Scorecard. В качестве варианта набора услуг и интерфейса пользователя.

Но в дальнейшем нужно ориентироваться на то, что такие системы будут развиваться на коммерческой основе. Поэтому не следует делать сильно развитый вариант.

Идеально было бы к моменту реализации найти стратегического партнёра среди ИТ-компаний. Выбор такого партнёра — отдельная задача.

Создаваемая аналитическая платформа должна предусматривать автоматическую интеграцию с системами автоматизации менеджмента в НКО и в донорских организациях.

Четвёртый шаг — формирование аналитических моделей путём обработки базы данных проектов

Прототипом такой системы будет Algorhythm.

Главное условие такой системы — много пользователей (нужно стремиться к тому, чтобы подключать всех, кто занимается определённой проблемой).

Приложение. Дополнительные ресурсы и инструменты

Ниже представлены дополнительные ресурсы и инструменты, которые могут быть полезны при планировании, измерении и оценке социальных результатов:

  1. Social Return on Investment (SROI)

www.neweconomics.org/issues/entry/social-return-on-investment

http://socialvalueint.org/

  1. The Questant Process

www.gapcomm.co.uk/questant/the-questant-process-affordablemeasurement

  1. Ecco

www.eccosolutions.co.uk

  1. The Rickter Scale

www.rickterscale.com

  1. Lamplight

www.lamplightdb.co.uk

  1. Social Accounting and Audit (SAN)

www.socialauditnetwork.org.uk

  1. Your Value

www.communitymatters.org.uk/content/496/Howdoes-Your-Value!-work 

  1. The Local Impact Measurement Tool

http://aspiren.net/LIM

  1. The social e-valuator

www.socialevaluator.com

10. NPC’s Well-being Measure

www.well-beingmeasure.com

11. Views

www.views.coop

12. LM3 / NEF consulting

www.lm3online.com

13. Prove it! / NEF consulting

www.proveit.org.uk

14. NCVO / Valuing Infrastructure Programme (VIP) tools

www.ncvo-vol.org.uk/advicesupport/infrastructure/impact/vip-tools

15. NCVO / Voluntary Sector Datastore

http://data.ncvo-vol.org.uk/category/datastore

16. Inspiring Impact

http://inspiringimpact.org

17. Efforts to Outcomes (ETO®) / Social Solutions Global (SSG)

http://www.socialsolutions.com/

18. Penelope / Athena

http://www.athenasoftware.net/

19. Social Return Intelligence Suite: Ira Impact Reporting & Management Suite (IIRM) + Sabita Indicator & Financial Proxy Database

Social Asset Measurement (SAM)

http://www.socialassets.org/

20. Socialsuite

http://socialsuite.com.au/

Скачать материал в pdf-версии

Share
Опубликовано в 2015, IT, исследования, Исследования и аналитика Метки:
Благодарим нашего учредителя Н.А.Цветкова и его семью за поддержку нашей деятельности

Яндекс.Метрика

Архив новостей

Подпишитесь на новости!

Введите Ваш Email: