Оценка эффективности IT- проектов

Характеристики качества и руководства по их применению
ГОСТ 19781-90 Единая система

программной документации. Обеспечение систем обработки информации программное. Термины и определения
ГОСТ 19.004-80 Единая система программной документации. Термины и определения
ГОСТ 34.003-90 Информационные технологии. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Термины и определения
ГОСТ 28806-90 Качество программных средств. Термины и определения
ГОСТ 28195-89 Оценка качества программных средств. Общие положения
ГОСТ Р 51275-99 Защита информации. Объект информатизации. Факторы, воздействующие на информацию
ГОСТ Р 50922-2006 Защита информации. Основные термины и определения
ГОСТ 34.321-96 Информационные технологии. Система стандартов по базам данных. Эталонная модель управления данными
ФЗ РФ от 27 июля 2006 г. N 149-ФЗ Об информации, информационных технологиях и о защите информации (в ред. Федеральных законов от 27.07.2010 N 227-ФЗ, от 06.04.2011 N 65-ФЗ, от 21.07.2011 N 252-ФЗ, от 28.07.2012 N 139-ФЗ)
ГОСТ 24.702-85 Эффективность автоматизированных систем управления

п. 6 Приложения А ГОСТ Р 50922-2006, ФЗ РФ от

27 июля 2006 г. N 149-ФЗ Об информации, информационных технологиях и о защите информации]
Система, которая организует хранение и манипулирование информацией о предметной области [из п. 2.13 ГОСТ 34.321-96]

Информационная система

Система, состоящая из персонала и комплекса средств автоматизации его деятельности, реализующая информационную технологию выполнения установленных функций [из п. 1.1 ГОСТ 34.003-90].
Комплекс средств автоматизации - совокупность всех компонентов АС, за исключением человеческих ресурсов (пользователей и эксплуатационного персонала) [из п. 2.12 ГОСТ 34.003-90].
Компонент АС  - часть АС, выделенная по определенному признаку или совокупности признаков и рассматриваемая как единое целое [из п. 2.13 ГОСТ 34.003-90]. Основные компоненты АС - это виды обеспечения АС: методическое, программное, математическое, информационное, организационное, техническое, правовое, эргономическое. Все прочие «компоненты» являются подчиненными. Например, в состав информационного обеспечения АС входит информационная база, которая, в свою очередь, включает в себя машинную и внемашинную информационную базу.

при выполнении функций обработки информации [из п. 2.1(6) ГОСТ Р 51275-99].
Приемы, способы

и методы применения средств вычислительной техники при выполнении функций сбора, хранения, обработки, передачи и использования данных [из п. 4 Прил. 1 ГОСТ 34.003-90].
Процессы, методы поиска, сбора, хранения, обработки, предоставления, распространения информации и способы осуществления таких процессов и методов [ФЗ РФ от 27 июля 2006 г. N 149-ФЗ Об информации, информационных технологиях и о защите информации ].

целях реализации определенного алгоритма [из п. 1 Таблицы 1 ГОСТ

19781-90]

Программное средство (software)

Объект, состоящий из программ, процедур, правил, а также, если предусмотрено, сопутствующих им документации и данных, относящихся к функционированию системы обработки информации. Примечание - ПС средство представляет собой конкретную информацию, объективно существующую как совокупность всех значимых с точки зрения ее представлений свойств каждого из материальных объектов, содержащих в фиксированном виде эту информацию [из п. 2 разд. 1 ГОСТ 28806-90]. Под процедурами и правилами подразумевается порядок действий, применяемый для решения задачи. Объем понятия, выражаемого производным термином «программные средства», включает в себя как частный случай объем понятия «программное обеспечение» определяемого по ГОСТ 19781.
Программа, предназначенная для многократного применения на различных объектах, разработанная любым способом и снабженная комплектом программных документов [из п. 13 Таблицы 3 ГОСТ 28195-89]

программ [из п. 2 Таблицы 1 ГОСТ 19781-90]
Совокупность программ на носителях

данных и программных документов, предназначенная для отладки, функционирования и проверки работоспособности автоматизированных систем [из п. 2.7 ГОСТ 34.003-90]
Программы, процедуры, правила и любая соответствующая документация, относящиеся к работе вычислительной системы [из п. 3.9 ГОСТ Р ИСО/МЭК 9126-93]

производства [из п. 5 ГОСТ 19.004-80]
Программное изделие - программное средство (по ГОСТ

28806-90), изготовленное, прошедшее испытания установленного вида и поставляемое как продукция производственно-технического назначения для применения в автоматизированных системах [из п. 2.15 ГОСТ 34.003-90]
Программный продукт - программный объект, предназначенный для поставки пользователю [из п. 3.10 ГОСТ Р ИСО/МЭК 9126-93]
Программный продукт - программное средство, предназначенное для поставки, передачи, продажи пользователю [из п. 3 разд. 1 ГОСТ 28806-90]. В тех случаях, когда при упоминании термина «изделие», представляющего собой носитель данных с записью программы (программное изделие ), из контекста однозначно следует, что речь идет о соответствующем программном продукте, указание на это изделие допускается применять вместо термина «программный продукт» [из Прил. 1 ГОСТ 28806-90]

к соотношению между уровнем качества функционирования программного обеспечения и объемом

используемых ресурсов при установленных условиях. Прим. - ресурсы могут включать другие программные продукты, технические средства, материалы (например бумага для печати, гибкие диски) и услуги эксплуатирующего, сопровождающего или обслуживающего персонала.
п. А.2.4 Эффективность (Efficiency)
п. А.2.4.1
Характер изменения во времени (Time behavior) Атрибуты программного обеспечения, относящиеся к временам отклика и обработки и к скоростям выполнения его функций.
п. А.2.4.2
Характер изменения ресурсов (Resource behavior) Атрибуты программного обеспечения, относящиеся к объему используемых ресурсов и продолжительности такого использования при выполнении функции.

те аспекты его уровня пригодности, которые связаны с характером и

временем использования ресурсов, необходимых для заданных условий функционирования. Примечание. Ресурсы могут включать в себя другие программные средства, технические средства, материалы (бумагу, гибкие магнитные диски и др.), услуги различных категорий персонала.
Приложение2. п. 4. Подхарактеристики эффективности
п. 4.1 Времяемкость программного средства:
Совокупность свойств программного средства, характеризующая обеспечиваемые при его функционировании время реакции на запросы, скорость обработки данных и пропускную способность.
п. 4.2 Ресурсоемкость программного средства:
Совокупность свойств программного средства, характеризующая объемы используемых при его функционировании ресурсов и продолжительность их использования.

функционирования АСУ и затрат всех видов ресурсов, необходимых для ее

создания и развития. Критерий эффективности АСУ определяют на множестве показателей, каждый из которых описывает одну из сторон рассматриваемой системы. В зависимости от используемого математического аппарата критерий может быть выражен в виде целевой функции или порядковой меры, устанавливающей упорядоченную последовательность сочетаний показателей.
п. 1.3. При определении результатов от функционирования АСУ задают универсальную систему обобщенных показателей, таких, как оперативность (своевременность), устойчивость, качество управления и др. Используемые показатели должны быть развернуты применительно к характеристикам конкретной АСУ. Например:    оперативность - вероятностно-временные   характеристики элементов   процесса управления;  устойчивость - показатели надежности, помехозащищенности и т. п.).
п. 1.4. К показателям затрат ресурсов относят материальные, людские, финансовые, временные и др. затраты.
п. 2.4. Обязательным условием определения экономической эффективности АСУ является следующая сопоставимость всех показателей: во времени; по ценам и тарифным ставкам заработной платы; по элементам затрат; по объемам производства и номенклатуре выпускаемой продукции или услуг; по сокращению ручного труда за счет автоматизации; по методам исчисления стоимостных показателей.
п. 2.5. Источник экономической эффективности - сокращение потерь и реализация резервов улучшения деятельности объекта в результате создания, функционирования и развития АСУ.
п. 2.6. Под факторами экономической эффективности АСУ понимают средства реализации источников эффективности. К ним относят совершенствование перспективного, годового, текущего планирования и оперативного регулирования, совершенствование управления технологическими процессами, улучшение условии труда работников предприятия (организации) и др.

программное обеспечение, каналы связи и т.д.).
Время простоев.
Администрирование системы.
Сервисное обслуживание системы

и др.

Квалификация персонала.
Удобство работы с системой.
Наличие подсистемы поддержки принятия решения (экспертные системы).
Время использования ИС в личных целях и др.

Ограничение доступа к данным.
Обеспечение сохранности данных.
Эффективное хранение данных.
Скорость обработки одной элементарной основной бизнес – транзакции и др.

Учет финансово-хозяйственной деятельности.
Бизнес-планирование.
Учет рисков.
Мониторинг.
Интеграция с другими уровнями управления (АСУТП).
Взаимодействие с клиентами и др.

к финансовому расчету экономической эффективности применительно к специфике ИТ и

с учетом необходимости оценивать риск. Достоинство финансовых методов – в их основополагающих принципах, заимствованных из классической теории определения экономической эффективности инвестиций. Данные методы используют общепринятые в финансовой сфере критерии (чистая текущая стоимость, внутренняя норма прибыли и др.) и оперируют понятиями притока и оттока денежных средств, требующими конкретики и точности.
2. Качественные методы (эвристические) - дополняют количественные расчеты, что может помочь оценить все явные и неявные факторы эффективности ИС и увязать их с общей стратегией компании. Эта группа методов позволяет специалистам самостоятельно выбирать наиболее важные для них характеристики систем в зависимости от специфики продукции и деятельности предприятия, устанавливать между ними соотношения, например с помощью коэффициентов значимости. 
3. Вероятностные методы - используются статистические и математические модели, позволяющие оценить вероятность возникновения риска. Данные методы нужны для оценки будущего эффекта от применения информационной системы, но пока еще не так широко распространены в практике, как количественные и качественные.

анализа (чистая приведенная стоимость (NPV),внутренняя норма доходности(IRR), индекс доходности инвестиций

(PI), срок окупаемости(PP), простая норма прибыли(ARR) и т. д.)
1.2. Полная стоимость владения (Total Cost of Ownership, TCO)
1.3. Оценка возврата инвестиций (Return on Investment, ROI)
1.4. Экономическая добавленная стоимость (Economic Value Added, EVA)
1.5. Совокупный экономический эффект (Total Economic Impact, TEI)
1.6. Быстрое экономическое обоснование (Rapid Economic Justification, REJ)
2. Качественные методы.
2.1. Система сбалансированных показателей (Balanced Scorecard)
2.2. Информационная экономика (Information Economics, IE)
2.3. Управление портфелем активов (Portfolio Management)
2.4. Система показателей ИТ (IT Scorecard) 
3. Вероятностные методы.
3.1. Справедливая цена опционов (Real Options Valuation, ROV)
3.2. Прикладная информационная экономика (Applied Information Economics, AIE)

эффективности можно разделить на две группы:
Основанные на учетных оценках.

Коэффициент эффективности инвестиций (Accounting Rate of Return – ARR);
Максимальный денежный отток (Cash Outflow - COF).
Основанные на дисконтированных оценках.
Чистый дисконтированный доход инвестиционного проекта (net present value - NPV),
Дисконтированный срок окупаемости (discounted pay-back period DPBP)
Внутренняя норма прибыльности (доходности, рентабельности) (internal rate of return - IRR),
Индекс рентабельности (present value index - PI),
Модифицированная внутренняя норма прибыльности (рентабельности) (МIRR)

Сi- — сальдо притока и оттока на i-том шаге,
Сi+ —

приток на i-том шаге, Сi- — отток на i-том шаге.

Отражает прогнозную оценку изменения экономического потенциала компании в случае принятия рассматриваемого проекта.

- рассматривает первоначальные и последующие затраты, связанные с приобретение, внедрением

и использованием ИС, как единые затраты на ИС в процессе ее создания и эксплуатации.

время Gartner работает над созданием более широкой версии TCO -

совокупной оценки возможностей (Total Value of Opportunity, TVO), которая должна оказать более заметное влияние на эффективность капиталовложений.
Существует упрощенная и комплексная методика расчета ТСО. Упрощенная методика расчета TCO дает возможность сравнивать затраты на разных временных участках (например, текущий год и прошлый, или текущий квартал и предыдущий), оценивая изменения.

затрат:
наличие автоматического управления рабочими местами и программы инвентаризации системы;

наличие встроенной диагностики вирусов на клиентских местах и серверах;
наличие централизованной службы помощи, располагающей базой знаний по возможным проблемам;
использование специально адаптированных для конкретной системы компонентов ПО, не нарушающих целостность архитектуры системы;
поддержка средств сетевого управления любой системой;
наличие встроенной системы обнаружения ошибок, предназначенной для отслеживания и предупреждения незапланированных простоев;
доступ пользователей только к тем программам и функциям, которые необходимы для выполнения рабочих обязанностей;
стандартизированные аппаратные и программные компоненты рабочих мест (минимально 80% от общего числа пользователей);
наличие системы защиты жизненно важных данных и план их быстрого восстановления;
централизованная закупка идентичных моделей техники одного производителя;
последовательная унификация и замена проблемных компонентов архитектуры на новые, отвечающие инициативам снижения стоимости и сокращения срока возврата инвестиций;
регулярное исследование затратных компонент стоимости владения и определение критических пунктов в инвестиционной программе;
регулярное обучение пользователей эффективным методам работы с системой;
регулярное обучение и сертификация персонала технологиям, используемым в сети;
наличие мотивации у административного персонала для предоставления высокого уровня сервиса.

расчета ТСО (http://www.inside-pr.ru/index.php)
Предприятие планирует усовершенствовать инфраструктуру освещения (лампы + электроэнергия)

путем замены ламп накаливания на энергосберегающие. Требуется рассчитать стоимость владения ТСО инфраструктурой освещения

Investment) – возврат инвестиций, который можно посчитать как отношение полученных (сэкономленных)

денег от в ИТ-проекта к вложенным средствам в проект. Важный момент: оба этих показателя должны быть измеримыми!
Если говорят о том, что ROI = 250%, значит на каждый вложенный рубль вернулось (сэкономилось) 2 рубля 50 копеек. На предыдущий вопрос ответ прост - из двух проектов стоит выбрать тот, у которого наибольшее ROI (кончено же нужно учитывать и масштабы и темпы снижения TCO). По статистике хорошее ROI - это 120-150%, а вот для больших внедрений ROI доходить до 800%.
«Не видите ROI – не инвестируйте!»

Для предыдущей задачи ROI=(490 000 – 225400)/ 225400*100=118%
Эффективность внедрения по показателю ROI зависят из следующих факторов:
Инвестиционные вложения в поиск, приобретение и внедрение информационной системы — совокупные разовые вложения, которые составляют затратную часть при расчете экономического эффекта.
Прогнозируемый рост доходов за счет улучшения показателей деятельности:
снижение операционных и управленческих затрат;
сокращение цикла реализации;
снижение коммерческих затрат;
уменьшение страхового уровня складских запасов;
сокращение дебиторской задолженности;
увеличение оборачиваемости материальных запасов и др.

Сервис Антиспам-пост предназначен для фильтрации домена. Antispam Post является SaaS

(Software as a service — программное обеспечение как услуга) решением. ПО не устанавливается на сервере фирмы, оно не покупается, за его использование ежемесячно уплачивается небольшая арендная плата за готовую услугу фильтрации.

компанией Forrester Research. Позволяет оценить проект внедрения компонентов ИС предприятия с

точки зрения трех показателей —«Стоимости», «Преимуществ» и «Гибкости».
TEI имеет узкий спектр применения. Ее можно использовать для анализа вариантов внедрения какого-то определенного компонента IT-инфраструктуры предприятия.

«Стоимость» вычисляется по методике (TCO)

«Преимущества» - оценка соответствия возможностей внедряемого продукта или компонента ИС требованиям проекта внедрения, как с точки зрения повышения эффективности работы, так и по их влиянию на выявленные операционные и технологические риски

«Гибкость» - характеристика сложности процесса внедрения, т.е. оценка затрат на «включение» нового компонента в ИС предприятия: потребуется ли переделка всей системы предприятия ввиду внедрения нового компонента, достаточны ли возможности по настройке компонента для подключения его к существующей системе, потребуется ли адаптация такого компонента и так далее.

Качественные характеристики

Количественные характеристики

приведенного дохода» (NPV), «Внутренней нормы доходности» (IRR), «Экономической добавленной стоимости»

(EVA), «Отдачи от инвестиций» (ROI) и других

Оценка рисков проекта по критериям соответствия выбранного решения исходному проекту, внедрения выбранного решения, его эксплуатации и финансовому риску

Оценка прибыли и затрат с использованием методики «Совокупная стоимость владения»

Выбор решения по перечню «требуемых возможностей», во многом совпадающих с критерием «Преимущества» методики «Совокупный экономический эффект» (TEI)

1.5. Быстрое экономическое обоснование (Rapid Economic Justification, REJ)

Разработки бизнес-плана, отражающего мнение всех заинтересованных сторон и учитывающего основные факторы успеха и ключевые параметры эффективности

Разработана фирмой Microsoft. Является развитием методики TCO за счет установления соответствия расходов на IT-проект приоритетам бизнеса. Ключевая идея - взгляд на IT с точки зрения бизнес-приоритетов компании, стратегических планов ее развития, и основных финансовых показателей (ROI и др.).
+ Наглядный инструмент, позволяющий комплексно оценить вклад IT в бизнес-результат компании.
- Сложна и продолжительна в реализации.

немонетарные цели + финансовые показатели.
Специалисты организации вырабатывают до 20 основных

целей по 4-м направлениям (финансы, клиенты, процессы, потенциал) и определяют для каждой цели свой показатель (табл.). Менеджеры сопоставляют перспективы каждого из этих четырех направлений с общей стратегией развития бизнеса. BSС – это инструмент формирования стратегии управления с непосредственным участием высшего руководящего звена.

портфеля проектов.
Идея: формирование списка критериев оценки эффективности проекта и

его анализ с точки зрения потенциальных для предприятия выгод, которые принесет реализация проекта. Главный недостаток – субъективизм.
Алгоритм метода.
Организуется рабочая группа по оценке эффективности IT-проекта, предлагаемого к внедрению из числа сотрудников IT-служб, бизнес- и риск-менеджеров.
Группа вырабатывает 10 главных факторов, определяющих потенциальную эффективность предлагаемого проекта.
Оценивается относительная значимость каждого из факторов («плюсы») и риски по каждому из факторов («минусы») для основных бизнес-процессов .
По результатам оценки строится рейтинг проекта с точки зрения его важности для основных бизнес-процессов предприятия. В случае применения методики IE к портфелю проектов или при выборе вариантов реализации того или иного проекта сравнение IE-рейтингов даст возможность выбора лучшего из вариантов.

на определение количественных параметров гибкости (за разработку методологии ROV в

1997 году Шоулз и Мертон были удостоены Нобелевской премии по экономике).
Метод справедливой цены опциона сам по себе достаточно труден. Рассмотрим его вариант, адаптированный к нуждам ИТ.
IT-проект рассматривается с точки зрения его управляемости уже в ходе самого проекта, для чего в проекте выделяются пять параметров:
выручка от проекта,
расходы проекта,
сложность проекта,
стоимость поддержки получившегося решения,
жизненный цикл внедряемой ИТ-системы.
По каждому выделенному параметру оценивается степень влияния на эти параметры по ходу проекта. Чем сильнее мы можем влиять на эти параметры, то есть понижать расходы или сложность проекта, тем выше наша оценка этого проекта по данному методу. Соответственно, чем проект более жесткий, чем строже заданы рамки, тем он менее интересен.
Например, мы имеем два ИТ-проекта. У одного стоимость поддержки решения четко расписана по годам, зафиксирована в контракте на поддержку с поставщиком соответствующих услуг, и мы не можем ее уменьшить в ближайшие несколько лет. А у второго проекта нет зафиксированной стоимости поддержки, и есть вероятность, что через какое-то время он станет менее критичен для компании. Если так, то нам бы хотелось снизить затраты на его поддержку. Можно это сделать или нет? Это как раз и есть фактор управляемости, по которому и происходит оценка эффекта по методу ROV. Аналогично мы анализируем каждый ИТ-проект по четырем оставшимся параметрам. Естественно, у каждой компании свои критерий и шкала оценки степени влияния на эти параметры проекта. Здесь какие-то общие рекомендации дать невозможно.

(Applied Information Economics, AIE) является модифицированным методом информационной экономики IE.

Его идея в том, чтобы для каждой из заявленных целей ИТ-проекта, определить вероятность её достижения и далее из неё вывести вероятность улучшений в бизнес-процессах компании.
Например:
позволяет ли проект по созданию корпоративного портала улучшить доступ к информации и принимать решения быстрее?
Насколько увеличится скорость принятия решения?
В какой степени это ускорит заключение сделки?
Отсюда можно сделать вывод об увеличение вероятности заключения сделки.