Сетевые ресурсы поддержки программной оценки

Posted on 21.12.2015 by Редакция Опубликовано в 2015, IT, исследования, Исследования и аналитика

Уроки, тренды и перспективы

Развитие программных продуктов, поддерживающих программную оценку, идёт по пути создания онлайн систем, предоставляющих сервис всем сторонам, заинтересованным в решении конкретной общественной проблемы. Ценность ресурса определяет тем, что на нём усилиями участников аккумулируется вся полезная и необходимая любому заинтересованному лицу информация.

Цель развития ресурса в том, чтобы помочь каждому индивидуальному участнику повысить результативность и эффективность своих проектов, направленных на решение соответствующей общественной проблемы. Измерение и оценка результатов — основная компонента системы. С этой целью система поддерживает в открытом режиме следующие совместные действия участников/пользователей/стейкхолдеров:

Осуществляется совместная разработка систем измерения социальных результатов (формулируются сами результаты, разрабатываются индикаторы и соответствующие им методы и инструменты сбора данных). Это позволяет участнику воспользоваться уже готовой системой измерения, чтобы не разрабатывать свою систему оценки результата. Такая готовая система не только экономит время и ресурсы на разработку, но и оказывается более профессионально выполненной, а применение такой «стандартной» системы измерения результата позволяет в будущем сравнивать свои результаты с другими и агрегировать (складывать) результаты по группам организаций/проектов.
Формируются единые базы данных проектов, на основе которых каждый из участников может оценить свой проект, сравнивая его с другими. Система в этом случае предоставляет возможности отбора «группы сравнения».
Разрабатываются аналитические модели влияния социальных воздействий на изменения для целевых групп. Эти модели позволяют прогнозировать и оценивать (вычислять) социальные результаты и их денежное выражение. Имеется два подхода к формированию аналитических моделей. Один — применение методов коллективной работы экспертов (например, разработка теории изменений, специальные социальные исследования и научные результаты). Второй использует базу данных уже выполненных проектов (пример — система Algorythm, где аналитические модели разрабатываются на большом массиве проектов, на начальном этапе взять чей-то архив, а затем база дополняется проектами участников, на этой основе аналитическая модель уточняется).
Аккумулируют данные из других источников (в основном популяционная информация) и другие материалы (методические, примеры реальных проектов, база данных цен). Эти данные не генерируются участниками, но полезны в их работе. Такая организация освобождает каждого участника от выполнения поиска нужной информации. В некоторых системах эти данные используются в вычислительных процедурах.

При этом функционирование системы/сайта сопровождается группой специалистов (по программной оценке), т.е. системы ещё не могут работать в автономном режиме. Экспертная поддержка включает:

верификацию данных, поступающих от участников
модерирование коммуникаций (при совместных разработках)
централизованная обработка данных (для построения аналитических моделей).

В дополнение к этому в системах развиваются общие инструменты управления данными организации, расширяется практика «облачного»/удалённого хранения данных, поскольку в большинстве систем требуется формирование базы данных проектов (опыта предшествующей деятельности). Обычно эти данные хранятся в базах данных в компьютерах участников, внутри организации. Можно наладить копирование их в систему, а можно сразу хранить в системе и пользоваться, как у себя в офисе. Это особенно удобно, когда управленческая информация распределена между партнёрами, донорами и грантополучателями. Сейчас развиваются системы автоматизированного обмена между сайтами. Т.е. каждый из партнёров формирует базу данных о своей деятельности на своём сайте, а сайты обмениваются её так, что пользователь, работая на своём сайте даже не замечает, что его данные распределены по нескольким сайтам.

Хранение данных в системе снижает издержки на ввод данных, позволяет реализовывать автоматизированный обмен данными между партнёрами или между донорами и грантополучателями. Средства коммуникации развиваются так, что скоро можно будет обойтись без офисных программ и больших дисков — персональное устройство используется только для обмена, хранение и обработка осуществляется на сервере.

Важная технология, которая пока не реализована в системах, поддерживающих программную оценку (пока и в других сферах это реализовано в отдельных случаях, штучно) — big data. Это включает поиск в сети полезных данных и подключение их к системе (фактически включение в систему) и специальная обработка больших массивов (неточные, неструктурированные, часто обновляемые и неполные данные, но содержащие много наблюдений), чтобы извлечь из них полезную информацию для участников. Например, анализ сообщений в социальных сетях позволяет предсказать эпидемию гриппа точнее и быстрее, чем инструменты эпидемиологической службы. Технологии big data ещё только развиваются и пока не нашли приложения в системах для программной оценки.

Факторы успеха (по развитым странам):

Наличие сообщества (открытого, широкого, массового) вокруг решения определённой проблемы: формирование и артикуляция запроса, сразу ответ на него (методологии и алгоритмы), система доверия (общие правила, взаимная открытость, совместный интерес вместо конкуренции).
Совместные базы данных: отдать свои данные и воспользоваться общей базой гораздо выгоднее, чем действовать самостоятельно.
Массовое участие: повышение качества, точности и надёжности оценки результатов требуют массового участия. Очень важно создать «критическую массу» пользователей или найти готовую базу данных проектов. Без этой критической массы в системе не будет накоплено достаточно данных (полезного опыта/знаний), чтобы заинтересовать новых пользователей, которые необходимы и для привнесения своего опыта, и для окупаемости системы (низкой платы за пользование).
Коммерческие игроки: массовое участие породило коммерческий интерес — в производстве продуктов и баз данных (платно, но гораздо дешевле, чем делать самому). К этому добавляются социальные инвесторы (определяется механизмами бюджетного финансирования, зависит от политики). Это определяет поток инвестиций и привлекает ресурсы для поддержания и развития. Развитие системы сильно замедляется, если нет субъекта с коммерческим интересом.
Интеграция: создание систем совместного пользования, которые обеспечивают автоматический обмен данными с другими сайтами. Фактически пользователь системы может подключить свой сайт к системе или наоборот. Тогда интернет-ресурсы специализируются каждый на своём (на одном сайте база данных проектов, на другом прайс-листы, на третьем модели, на четвёртом программы статистического анализа и т.д.), но объединены в единую систему. Примеры: The Global Value Exchange и Sinzer.

Обобщённая информация о проанализированных системах

Классификация онлайн-систем, оценочные функции, услуги

Название системы	Адрес в сети Интернет	Характеристика, функции, сервисы
The Outcomes Star	www.outcomesstar.org.uk	Комплексный подход. Калькулятор результата, заготовки для системы измерения, агрегация
The CF Insights	http://cfinsights.org/	Диагностика. Сравнительный финансовый / инвестиционный / организационный инструментарий
LIIF Social impact calculator	http://www.liifund.org/calculator	Калькулятор стоимостной оценки
Value Insight	https://www.valueinsight.org/	Калькулятор стоимостной оценки.Агрегация открытых данных по конкретной территории (и проблеме)
Algorhythm	http://algorhythm.io; http://algorhythm.io/youth—development—ilearning—system/	Формирование сообщества, фокусирующегося на одной проблеме.Полный перечень инструментов – основные (оценочные) и вспомогательные:заготовки для системы измерения (результаты и показатели)создание аналитических моделейуправление конкретными случаями (case management) — прогноз, разработка воздействия сервисы для доноров (аналитика «что работает» в проектах грантополучателей) бенчмаркинг стоимостные оценки объединённая система исследований база данных выполненных проектов
Sinzer	http://www.sinzer.org/	Стоимостная оценка (SROI), заготовки для системы измерения (базы данных результатов, стейкхолдеров и показателей), агрегация.Возможность реализации / интеграции других методологий оценки результатов
Fluxx	http://fluxx.io/	Универсальная (менеджмент, управление данными и мониторинг), публикации
Results Scorecard	http://resultsscorecard.com/	Универсальная (менеджмент), заготовки для системы измерения, стоимостная оценка (RBA)
Upshot	http://www.upshot.org.uk/	Универсальная (менеджмент и грант-менеджмент): мониторинг, управление данными проектов, супервизии доноров, геоинформационная система

Поддерживаемые сервисы

Система	Универсальная	Планирование (дизайн) проекта	Готовые системы измерения результатов	Измерение результата	Бенчмаркинг	Стоимост-ные оценки результатов
Outcomes Star			l		ll
The CF Insights	l		l		ll
LIIF Social impact calculator			l
Value Insight			l		ll
Algorhythm	l	ll	l	l	ll
Sinzer	ll		l	l	l	l
Results Scorecard	ll	l	l		ll	l
Fluxx	ll
Upshot	ll

Условные обозначения:

	Универсальная система управления (менеджмент)	Планирование (дизайн) проекта	Бенчмаркинг
l	Обеспечивает ограниченные возможности хранения данных проекта в системе	Копирование чужого проекта с возможностью внести свои изменения	Сравнение между проектами одного пользователя
ll	Полноценная система управления проектами	Составление проекта (плана работы с конкретным субъектом целевой группы — молодым человеком) из содержательных блоков, выбор наиболее результативной комбинации	Сравнение по всей базе данных проектов

Сведения о начале функционирования системы и её производителе/держателе

Система	Запуск	Страна	Статус	Производитель /держатель
Outcomes Star	2008	UK	социальное предприятие	Triangle Consulting Social Enterprise Limited
The CF Insights	2010	USA	НКО	The CF Insights / Foundation Strategy Group
LIIF Social impact calculator	2014	USA	Благотворительн. организация	Low Income Investment Fund
Value Insight	2014	UK	Благотворительн. организация	Housing Associations’ Charitable Trust (HACT)
Algorhythm	2015	USA	социальное предприятие	Algorhythm
Sinzer	2008	NL	Ltd	Sinzer BV
Results Scorecard	2013	USA	LLC	Results Scorecard, LLC
Fluxx	2014	USA	LLC	Fluxx Labs LLC
Upshot	2012	UK	Благотворительн. организация	The Football Foundation

Условные обозначения стран:

NL	Нидерланды
USA	США
UK	Великобритания

Стоимость использования и целевые группы пользователей

Система	Стоимость	Количество пользователей	Целевая группа
Outcomes Star	£660/год, £33/пользователь/год	?	Social Service Providers
The CF Insights	$200	250	Community Foundations
LIIF Social impact calculator	$0	?	Social Service Providers
Value Insight	£3500/год	250	Housing Providers
Algorhythm	$1-$2/клиент	?	Youth Development Projects
Sinzer	договорная	50
Results Scorecard	$50/месяц/пользователь (минимум $250/месяц)	100
Fluxx	$495, $800/месяц	?
Upshot	£1000/год	200

Базовая методология

Система	Методология	Предмет
Outcomes Star	Outcomes Star	Outcomes
The CF Insights	Activity-Based Costing Analysis	Performance
LIIF Social impact calculator	—	Valuation
Value Insight	Wellbeing Valuation Approach	Valuation
Algorhythm	—
Sinzer	Social Return on Investments+	Outcomes
Results Scorecard	Results-Based Accountability framework	Outcomes
Fluxx	—
Upshot	—

Развитие

Создание системы для поддержки системы социальных измерений и оценки результатов, включая стоимостную оценку, включает аналитическую часть и программирование.

Нужно сосредоточиться на решении первого круга задач. Программирование по сравнению с ними не представляет большого труда, особенно для специалистов, поскольку задачи методы детерминированы.

Аналитическая часть требует разработки.

Первый шаг — аналитика

Разработку следует вести проблемными кластерами (ресоциализация бывших заключённых, снижение смертности в ДТП и т.д.). Фактически, каждый проблемный кластер соответствует одному социальному результату и для каждого фиксирована бенефициарная группа (т.е. какая проблема и для кого решается).

В целом, реализуется онлайн платформа, которую можно наполнять аналитикой по любому кластеру и по любому количеству кластеров (их можно физически разнести по разным серверам, но архитектура будет одинаковой).

Создание системы осуществляется открытым сообществом, куда входят эксперты по проблеме, практики, ЛПР, специалисты по оценке, доноры, соответствующие профессиональные и другие ассоциации — все группы, которые могут внести вклад в создание аналитики, будут пользователями или интересы кого будут затронуты, когда система будет эксплуатироваться. Такая открытость не отменяет некоторых рабочих групп с фиксированным участием. В любом случае у каждого кластера должен быть модератор.

Причём именно открытая система — возможность подключения любого желающего.

Такое включение необходимо не только для разработки качественной системы. Это нужно, чтобы ей стали пользоваться достаточно массово. Каждый должен чувствовать свою причастность к разработке и развитию.

Только через такой подход удастся создать общую (shared) систему.

По каждому кластеру разрабатывается вся аналитика:

Теории изменений
Модели стоимостной оценки
Модели измерения/вычисления результата (через индикаторы)
Индикаторы и источники и методы сбора данных для формирования значений индикаторов
Перечень общих исследований, необходимых для уточнения аналитических моделей
Составление типового бюджета и трудовых затрат для реализации системы измерений (по каждому измеряемому параметру)
Идентификация массивов проектов, которые можно задействовать для начального наполнения системы.

На этом этапе требуются интенсивные коммуникации с ключевыми потенциальными участниками и создание интернет-площадки для совместной открытой удалённой работы.

Второй шаг — услуга по формированию системы измерения

Разработанные кластеры размещаются на платформе так, что каждый желающий может выбрать для себя систему измерения. Конечно, это будет возможно для очень небольшого количества проблемных кластеров.

Пользователь в диалоговом режиме формулирует свою проблему, выбирает социальный результат и получает полное описание системы социальных измерений. Всё остальное он должен делать самостоятельно в своей организации.

Автоматически формируемая документация будет содержать описание всех данных, которые нужно собирать, весть план деятельности, которая должна сопровождать (быть интегрирована в систему менеджмента) выполнение проекта (и после).

Третий шаг — автоматизация части операций системы измерения

Скорее всего, третий шаг можно будет совместить со вторым. Как только будет наступать ясность, как измерять результат, это можно будет программировать. Программирование будет осуществляться очень быстро. Но открытие системы для общего пользования будет возможно только при достаточном наполнении данными и полной ясностью с аналитикой.

На этом шаге уже нужно будет получать много данных от пользователей. Поэтому резонно к этому моменту создать и простейшую систему управления данными организации.

В качестве основы прототипа подойдут Sinzer и Results Scorecard. В качестве варианта набора услуг и интерфейса пользователя.

Но в дальнейшем нужно ориентироваться на то, что такие системы будут развиваться на коммерческой основе. Поэтому не следует делать сильно развитый вариант.

Идеально было бы к моменту реализации найти стратегического партнёра среди ИТ-компаний. Выбор такого партнёра — отдельная задача.

Создаваемая аналитическая платформа должна предусматривать автоматическую интеграцию с системами автоматизации менеджмента в НКО и в донорских организациях.