Оценивание конечных результатов отраслевых политик

 → Оценка программ

В последнее время государственные структуры все чаще проявляют интерес к оцениванию государственных программ и проводимых политик. Большим спросом пользуются различные методы оценивания, направленные на измерение социального эффекта программы, выявление непосредственных бенефициариев и адресатов. Активно разрабатывается методология оценивания для отраслевых политик, которая в дальнейшем будет внедрена в качестве элемента программно-политического цикла.

Оценивание эффективности государственных программ представляется особенно важным, так как, как правило, именно в них затрагиваются общественно-значимые вопросы с неоднозначными социальными последствиями. Для правильного построения оценочной деятельности необходимо принимать во внимание существование различных видов оценочной деятельности, применение которых оправдано в тех или иных ситуациях.

Outcome evaluation,или оценивание результатов, – один из основных этапов оценочной деятельности, целью которого является непосредственное получение информации о том, насколько программе/политики удалось справиться с изначально поставленной целью, соответствует ли итог реализации программы/ политики заранее определенным конечным критериям. Понятие outcome гораздо шире, чем просто конкретный результат, здесь также подразумевается система взаимосвязанных эффектов и конечных явлений, которые связаны с той или иной программой.
После проведения соответствующей процедуры оценивания профессиональный оценщик должен обладать достаточным количеством данных, чтобы ответить на вопросы об эффективности программы, существуют ли различия между тем, как должно быть, и тем, как есть на самом деле, в чем причины различий, какие выводы и рекомендации можно сделать и т.д. Оценивание результатов программы/ политики требует также наличия специальной системы показателей-критериев, которые являются своего рода индикаторами успеха или неудачи.
Терминология, касающаяся понятия «результаты» достаточно не однозначна. Проблема возникает в связи с множественностью терминов в англоязычной литературе, тем или иным образом соответствующим переводу «результат». Так, «результат» представляет собой довольно широкое понятие и включает в себя несколько терминов, обозначающих разные временные периоды оценки и имеющих различное логическое содержание.

Термин «output» - непосредственный результат, количество произведенных товаров и услуг, касательно государственного управления - объем предоставляемых государственных услуг. Государственные органы тратят определенное количество ресурсов с целью обслужить определенное число людей, это число людей и будет составлять объем предоставляемых услуг. Существует также понятие “performance”. Здесь речь идет о параметрах деятельности органов власти и государственных организаций, характеризующие её эффективность и/или результативность.
Outcomes (чаще переводят как «конечные результаты») – результат в форме эффекта от проведения той или иной политики, осуществления программы расходов, оказания бюджетных услуг. Термин, как правило, используется для обозначения фактического результата, преднамеренного или нет. Однако в США этот термин воспринимается как предполагаемые и планируемые последствия действий правительства, т.е. некие эффекты, последствия непосредственных результатов, мероприятий, государственных услуг (outputs), связанные с поведением и действиями стейкхолдеров, их реакцией на соответствующие мероприятия.
Оценивание конечных результатов считается наиболее адекватным способом определения эффективности программы/ политики: так, оценщик может прямо видеть соответствие или несоответствие реальных результатов собственно идее программы. В данном случае оценщик воспринимает информацию о конечных результатах как данное, впоследствии в процессе оценивания формирует систему переменных, которые могли привести к полученному исходу программы. Соответствующие переменные также включают в себя:

• какие обстоятельства вызвали изменение конечного результата (если это имело место),
• вклад стейкхолдеров и управляющих программой и его влияние на итог реализации,
• их характер взаимодействия в процессе программы.

В зависимости от конкретной политики, её цели и содержания выделяют несколько видов эффективности:

1. Efficiency (экономия на затрата)
2. Economy (соотношение затрат и объема услуг)
3. Effectiveness (социальная, конечная эффективность)
4. Cost-benefit analysis (достижение конечного результата с точки зрения затрат). Например, подсчет стоимости снижения безработицы на 1%. Такая эффективность активно используется для benchmarking, подход, ориентированный на использование лучших практик других стран для выявления возможных способов совершенствования и улучшения собственной деятельности.

Процесс оценивания конечных результатов состоит из нескольких частей, которые предполагают следующее:

1. оценить степень завершенности программы по отношению к полученным результатам;
2. выявить факторы, влияющие на результаты;
3. оценить вклад взаимодействующих сторон, тем или иным образом причастных к программе;
4. оценить стратегию реализации программы, соответствие целеполаганию.

Следует отличать оценивание конечного результатов и мониторинг результатов. Целью первого, в первую очередь, является анализ взаимосвязи затраченных ресурсов и конечного эффекта, результата (inputs-outputs), в то время, как мониторинг - лишь периодическая констатация, учет какого-либо результата.
Оценивание конечных результатов относят к наиболее важному методу оценивания, так как непосредственную ценность здесь представляет результат предпринятого действия/мероприятия – его состояние и совокупность факторов, которые повлияли на конечную эффективность. Не существует единой методологии оценивания конечных результатов, так как эффективность программы и политики и способ её оценки в значительной степени зависит от содержания и отраслевой составляющей предмета оценивания (потребительские рынки, промышленность, информационные технологии, финансы и страхование, строительство и недвижимость, транспорт и грузоперевозки, сельское хозяйство и т.д.).
Государственная отраслевая политика имеет своей целью эффективную организацию отраслевых рынков, промышленности страны. Она может быть как сдерживающей, так и стимулирующей (пассивной и активной) в зависимости от поставленных на данном этапе развития отрасли целей и методов политики.
Необходимость оценивания эффективности данного рода политик очевидна. Успешность той или иной политики напрямую влияет на дальнейшее состояние отрасли. Общей целью государственной отраслевой политики служит решение проблем, связанных с провалами рынка, для повышения общественного благосостояния.
Для оценивания эффективности отраслевой политики обычно выделяют ряд критериев, часть из которых специфична в зависимости от рассматриваемой отрасли; также учитываются методология и инструменты сбора данных (формальные отчеты, опросы, наблюдения, экспертное мнение).
При оценивании эффективности непосредственно методом оценки конечных результатов за основу анализа данных, как правило, принимают следующие факторы:

• цель программы (были ли достигнуты поставленные цели, или же, какие остались незатронутыми)
• фокус на сравнении запланированных и достигнутых результатов
• методология (на какие данные опирается анализ)
• периодичность проведения
• использование результатов оценивания

Результативность политики в отличие от понятия эффективности отражает степень, до которой задачи предпринятых мер/мероприятий были достигнуты (в том числе принимается во внимание их относительная важность). Для измерения и оценивания результативности политики также разрабатывается ряд критериев, включающий разнообразные аспекты.
Outcome-based evaluation (result-focused) представляет собой отличную альтернативу процессному методу оценивания. Данный метод оценивания сосредоточен, в первую очередь, на результатах, конечных эффектах политики. Таким образом, оценивается, удалось ли политики достичь запланированного, или же насколько реальный итог соответствует ожидаемому, какие факторы помешали или способствовали этому. Информация, полученная в ходе оценивания, впоследствии дает возможность исследовать политику, программу на предмет необходимости, эффективности, результативности и адекватности в данных условиях (как внешних, так и внутренних).

Выстраивание системы оценивания эффективности не является универсальным средством и также имеет ряд ограничений. Например, фокусирование на снижении затрат может впоследствии привести к негативным качественным результатам. Нечеткость и сложность в определении outcomes часто приводит к неправильному употреблению термина и смешению его с outputs. Таким образом, часто происходит лишь поверхностное сравнение inputs-outputs без надлежащего анализа эффектов деятельности. Проблема отсутствия четкой системы индикаторов при концепировании и сборе данных представляет собой определенную трудность в проведении дальнейших измерений и анализов.

Литература

1. Guidelines for Outcome Evaluators: Monitoring and Evaluation Companion Series, #1 Evaluation Office, United Nations Development Programme, One United Nations Plaza, New York, NY 10017
2. Оценка и результативность помощи //Глоссарий ключевых терминов в области оценки и управления, основанного на результатах//Рабочая группа DAC по оценке помощи, 2002
3. Basic Guide to Outcomes-Based Evaluation for Nonprofit Organizations with Very Limited Resources