Тема № 5

оценка надежности ПС.
Статические модели.
Динамические модели.
Эмпирические модели.
МиКПО

периода времени в определенных условиях эксплуатации с учетом последствий для

пользователя каждого отказа.
Работоспособное состояние ПС – такое состояние, при котором ПС способно выполнять заданные функции с параметрами, установленными требованиями технического задания. С переходом ПС в неработоспособное состояние связано событие отказа.

МиКПО

того, что в пределах заданной наработки отказ системы не наступит.

Наработка – продолжительность или объем работы.


где – вероятность безотказной работы,
– случайное время работы до отказа,
– заданная наработка.
Внимание: время процессорное!

2. Вероятность отказа – вероятность того, что в пределах заданной наработки отказ системы наступит.

МиКПО

вероятности возникновения отказа ПС в определенный момент времени при условии,

что до этого времени отказ не возник.


– плотность вероятности отказа в момент времени,
– число отказов в единицу времени.



Если , то .

Если , то .

МиКПО

математическое ожидание времени работы ПС до очередного отказа.
, где n

– количество отказов.


5. Среднее время восстановления – математическое ожидание времени отказа.

, где ,

где – время на локализацию отказа,
– время на устранение отказа,
– время на проверку работоспособности.

6. Коэффициент готовности – вероятность того, что ПС окажется в работоспособном состоянии в произвольный момент времени его использования по назначению.

МиКПО

повышение
квалификации персонала
архитектура
вычислительной системы
языки программирования
МиКПО

стоимость разрабатываемой системы
степень выполнения последовательности работ
степень сложности разработки системы
структурное построение
наличие

опыта разработки

качество программирования
принятые конструктивные решения
объем программы
логическая сложность
степень выполнения требований на разработку

управление надежностью
степень обученности персонала
степень информированности персонала
микроклимат в группе
временные ограничения

МиКПО

пользователей
степень адаптации
документации
простота изучения и
использования
степень выполнения
стандартов на эксплуатацию
защищенность

информации

МиКПО

ее измерения, оценки и прогнозирования. Основным средством оценки и прогнозирования

надежности являются модели надежности.
Модель надежности ПО (МНПО) – математическая модель, построенная для оценки зависимости надежности ПС от заранее известных или оцененных в ходе тестирования параметров.

МНПО

аналитические

эмпирические

показатель надежности
определяется на
основании данных
о поведении программы
в процессе тестирования

существует возможность
предсказывать показатели
надежности на основе
данных о метрических
свойствах программы

МиКПО

время доводки программы
Модель Шумана
Модифицированная
модель Шумана
Модель La Padula
Модель
Шика-Волвертона
Модель
Джелинского-Моранды
Модель

Муса

Модель
переходных
вероятностей

Модель
Гоэл-Окимото

Модель Миллса

Модель Липова

Простая
интуитивная
модель

Модель
Коркорэна

Модель Нельсона

МиКПО

временем.
СМ по области ошибок – учитывается связь количества ошибок

и числа тестовых прогонов.
СМ по области данных – учитывается связь количества ошибок с характеристиками входных данных ПС.

Динамические модели (ДМ)

Поведение отказов зависит от времени.
Для использования ДМ необходимо иметь данные о появлении отказов по времени.
В ДМ с непрерывным временем (ДНМ) фиксируются интервалы каждого отказа, т.е. получается непрерывная картина появления отказов по времени.
В ДМ с дискретным временем (ДДМ) фиксируются число отказов за некоторое время и поведение программы представлено в дискретных точках.

МиКПО

в программе.
Состоит из 2 этапов:
определение N, т.е. количества оставшихся ошибок
проверка

гипотезы об N
Условно предположим, что в программе имеется не более k собственных ошибок. Искусственно вносим S ошибок. Программа тестируется, пока не будут обнаружены все (или почти все) внесенные ошибки, одновременно фиксируется количество обнаруженных собственных ошибок n.

, где V – количество обнаруженных искусственных ошибок


, где C – уровень значимости модели, так называемая «мера доверия»


По формуле (1) предсказывается возможное число оставшихся в программе ошибок. Формула (2) служит для установления доверительного уровня прогноза.

Если не все S найдены, то C рассчитывается по формуле (3):





j – число ошибок, найденных при тестировании, принадлежащих подмножеству S

МиКПО

2 ошибки.

Модель Миллса (задача 1)
Дано:
k=4;
n=2;
S=20;
V=20;
Найти:
N - ?
C - ?
Условие: Предположительно,

перед началом тестирования в программе было 4 ошибки, искусственно было внесено ещё 20. В процессе тестирования выявили 20 внесённых и 2 собственные ошибки. Оценить надёжность программы.

МиКПО

от 2 до 3 ошибок.
Модель Миллса (задача 2)
Дано:
k=3;
n=2;
S=6;
V=j=5;
Найти:
N - ?
C

- ?

Условие: Предположительно, перед началом тестирования в программе было 3 ошибки. Искусственно было внесено ещё 6. В процессе тестирования выявили 5 внесённых и 2 собственные ошибки. Оценить надёжность программы.

МиКПО

Искусственно было внесено ещё 20. В процессе каждого испытания было

выявлено определённое количество ошибок (см. табл.) Оценить количество оставшихся ошибок в программе после каждого прогона, а также меру доверия после последнего прогона.

Решение.

Модель Миллса (задача 3)

Дано:
k=100;
S=20;

Найти:
N - ?
C - ?

МиКПО

ошибок.
q – вероятность обнаружения ошибки в каждом тесте

при

СМ: модель

Липова

МиКПО

где m – количество тестов, проводимых при тестировании
q – вероятность обнаружения ошибки в каждом из тестов
S – общее количество искусственно внесённых ошибок
N – количество собственных ошибок до начала тестирования

лиц, использующими независимые тесты. Программа некоторое время тестируется параллельно, затем

результаты сравниваются.

- ошибки, обнаруженные первой группой
- ошибки, обнаруженные второй группой
- ошибки обнаруженные обеими группами
- предполагаемое количество ошибок в программе

МиКПО

N1

N2

1 и 2 соответственно
N – предположительное число ошибок в программе
R

– остаточное число ошибок в программе

МиКПО

второй – 25 ошибок. Общих ошибок - 5. Определить

надежность по простой интуитивной модели.

Решение.

Простая интуитивная модель (задача)

Дано:
N1=15;
N2=25;
N12=5;

Найти:
N - ?
R - ?

МиКПО

ошибок i-го типа
ai – вероятность появления ошибки i-го типа
Yi

– вероятность появления ошибок Yi=ai, если Ni>0 Yi=0, если Ni=0
k – известное число типов ошибок
R – показатель уровня надёжности





Преимущества: легкий расчёт и получение показателя надёжности в виде числа.
Недостатки: необходимо знать вероятности появления ошибок в том или ином классе задач.

МиКПО

программа будет работать без сбоя.
Условие: При тестировании программы было проведено

100 испытаний, при которых было выявлено следующее число ошибок по типам (см. табл.). Из 100 испытаний 20 было проведено безуспешно. Необходимо определить надёжность программы.

Решение

МиКПО

некоторой вычислительной функции F на множестве E всех возможных наборов

входных данных таких, что каждый элемент Ei представляет собой набор значений данных, необходимых для выполнения прогона программы.




Выполнение программы приводит к получению для каждого Ei определённого значения функции F(Ei).
Множество E определяет все возможные вычисления в программе, т.е. каждому входному тестовому набору соответствует определённый прогон P и наоборот.
Наличие ошибок в программе означает, что ей на самом деле соответствует функция F’, отличная от заданной функции F.
Для некоторых Ei отклонение выхода F’(Ei) от желаемого результата F(Ei) находятся в допустимых пределах.

МиКПО

, выполнение программы не обеспечивает приемлемых результатов (отказ)



Если при каждом

прогоне на вход программе подаётся один Ei тестовый набор данных, то вероятность того, что прогон программы приведёт к отказу равен вероятности того, что набор данных Ei , используемый в данном прогоне, принадлежит Ec . И эта вероятность равна

где Q – вероятность того, что прогон программы на наборе входных данных Ei , случайно выбранного из E закончится отказом;
nc – число различных значений тестовых данных, принадлежащих Ec (вызывающих отказ);
N – общее число входных тестов

МиКПО

данных диктуется определёнными условиями. Конкретный набор тестовых данных Ei может

быть выбран с вероятности Pi, тогда

- прогон заканчивается получением приемлемого результата
- прогон заканчивается отказом

МиКПО

нельзя считать независимым. Поэтому принимают:
Pji – вероятность выбора Ei набора

данных для j-го прогона. Тогда для каждого j-го прогона вероятность того, что он закончится отказом, вычисляется по формуле:



Надёжность R(n) – вероятность того, что в последовательности из n прогонов каждый из прогонов не закончится отказом






- формула Нельсона

МиКПО

моделям.
На модель существуют следующие ограничения:
Исходное количество ошибок в программе –

постоянная величина, которая уменьшается пропорционально тому, как ошибки исправляются.
Общее число операторов в программе постоянно.
Скорость обнаружения ошибок пропорциональна числу оставшихся ошибок.

МиКПО

В течение машинного времени отладки  устраняется с() ошибок в

расчете на один оператор программы. Удельное число ошибок на оператор программы, оставшееся в программе после  времени тестирования
r() = Ет / Iт - с() (1)
где Iт – известное постоянное, общее число операторов программы.

Предполагается, что частота отказов z(t) пропорциональна числу ошибок, оставшихся в программе после отладки:
z(t) = C * r() (2)
где C – некоторая постоянная, а t – время работы программы без отказов.

Функция надежности (вероятность безотказной работы программы на интервале от 0 до t) рассчитывается по формуле
R(t,) = exp{-C * [Eт/Iт - с()] * t} (3)
tcp = 1 / (С * [Eт / Iт - с()]) (4)
где tcp – время безотказной работы программы.

МиКПО

времени прогона, которые заносятся в таблицу:
n – общее число прогонов,

из них:
r – безуспешных  время прогона: Т1, Т2, … , Тr
(n – r) – успешных  время прогона: t1, t2, … , tn-r
Общее время прогонов H равно:
(5)

Предполагая, что интенсивность появления ошибок постоянна и равна , получаем:
(6)

где Ai – количество ошибок на i-ом прогоне.

(7)

МиКПО

и 2, которые выбираются произвольно с учетом требования с(2)с(1), сопоставляют

уравнения (4) и (7).
Получаем:



(8) (9)





(10) (11)

Получив неизвестные ET и C, можно рассчитать надежность программы по формуле (3).

МиКПО

последовательных тестовых прогонов были получены следующие данные (см. таблицу).
МиКПО
Найти:

вероятность безотказной работы программы в течение времени t = 60 мин при  = 35 мин.

число ошибок, найденных на интервале A–B, было больше, чем на

интервале 0–A. За точку A возьмем 2 прогон, а за точку B – 8 прогон. Тогда ошибки, найденные на этапах тестирования на интервалах 0–A и A–B, будут равны соответственно:
εC(A) = 3 / 4381 = 0.0007 εC(B) = 7 / 4381 = 0.0015
Время тестирования на интервалах равно:
A = 5 + 8 = 13 B = 2 + 1 + 5 + 1 + 1 + 2 = 12
Рассчитываем интенсивности появления ошибок на двух интервалах:
λA = 3 / 13 = 0.23 λB = 7 / 12 = 0.58




Это число имеющихся до начала тестирования ошибок. Коэффициент пропорциональности равен:



Рассчитаем вероятность безотказной работы в течение времени t при  = 35 мин:



Возьмем t = 60 мин:

МиКПО

C получают из соотношений:




1)

2)

i – время прогона i
m –

общее число тестовых интервалов
mi – число прогонов, завершившихся отказом в i-ом интервале (число ошибок)
ni – общее число ошибок, обнаруженных, но не включенных к i-ому интервалу

Достоинство модели: можно исправлять ошибки, внося изменения в программу во время тестирования.

МиКПО

во время i-го этапа
m – число этапов
R – предусмотренная надежность

A – параметр роста

МиКПО

функционирования, которое отсчитывается в ходе разработки программы, вплоть до того,

когда происходит оценка надежности;
оперативное время, т.е. время от контрольного момента и далее при условии, что дальнейшего исправления ошибок не будет.

Суммарное число обнаруженных и устраненных ошибок:

(1)


N0 – первоначальное число ошибок
M0 – общее число отказов, которые могут произойти за все время испытания программы
T0 – средняя наработка на отказ в начале испытания
С – коэффициент сжатия тестов (для устранения избыточности при тестировании)
 – суммарное время функционирования (2)

B – коэффициент уменьшения числа ошибок
(3)

n – число зарегистрированных ошибок
m – число зарегистрированных отказов

МиКПО

средней наработки на отказ
T0 – требуемая величина наработки на отказ,

задаваемая в договоре заказчиком

(6)

f – средняя скорость выполнения программы, отнесенная к числу операторов
k – коэффициент появления ошибок; характеризует скорость, с которой появились бы ошибки, если бы программа выполнялась линейно; диапазон – от 1.54*10-7 до 3.99*10-7

(7) (8) (9)


R(t) – надежность для оперативного времени
Δm – число отказов
Δ – время тестирования

МиКПО

в процессе тестирования ПС. При этом фиксируется время до очередного

отказа. Основное положение, на котором базируется модель, заключается в том, что значение интервалов времени тестирования между обнаружением 2 ошибок имеет экспоненциальное распределение с частотой ошибок (или интенсивностью отказов), пропорциональной числу еще не выявленных ошибок. Каждая обнаруженная ошибка устраняется, число оставшихся ошибок уменьшается на единицу.
Функция плотности распределения времени обнаружения i-той ошибки отсчитывается от времени выявления (i-1)-ой ошибки:


λi – частота отказов (интенсивность отказов), которая пропорциональна числу еще не выявленных ошибок в программе


N – число ошибок, первоначально присутствующих в программе
C – коэффициент пропорциональности

МиКПО

кривой функции плотности распределения дает прогнозное значение вероятности появления ошибки

на любом временном интервале.


N – первоначальное количество ошибок
n – общее число удаленных ошибок за все время тестирования

Наиболее вероятные значения величин N` и C` (оценки максимального правдоподобия) можно получить на основе данных, полученных при тестировании. Для этого фиксируют время выполнения программы до очередного отказа: t1, t2,.. tk.
Значения N и C получают решением системы:




, где

МиКПО

и точность их зависит от количества интервалов тестирования (или количества

ошибок), найденных к моменту оценки надежности, асимптотические оценки дисперсий определяются с помощью следующих формул:



где

и


Чтобы получить числовые значения λi нужно подставить вместо N и C их возможные значения N` и C`. Рассчитав K значений по формуле (2) и подставив их в формулу (1), можно определить вероятность безотказной работы на различных временных интервалах. На основе полученных расчетных данных строится график зависимости вероятности безотказной работы от времени.

МиКПО

рассматриваемом интервале более одной ошибки предложена Волвертоном и Шиком. При

этом считается, что исправление ошибок производится лишь после истечения интервала времени, на котором они возникли. В основе модели Шика-Волвертона лежит предположение, согласно которому частота ошибок пропорциональна не только количеству ошибок в программах, но и времени тестирования, т.е. вероятность обнаружения ошибок с течением времени возрастает. Частота ошибок (интенсивность обнаружения ошибок) λi предполагается постоянной в течение интервала времени ti и пропорциональна числу ошибок, оставшихся в программе по истечении (i-1)-го интервала; но она пропорциональна также и суммарному времени, уже затраченному на тестирование (включая среднее время выполнения программы в текущем интервале.



В данной модели наблюдаемым событием является число ошибок, обнаруживаемых в заданном временном интервале, а не время ожидания каждой ошибки, как это было для модели Джелинского-Моранды.

МиКПО

вид:






где и







tj – продолжительность временного интервала, в котором наблюдается Mj ошибок
Ti-1

– время, накопленное за (i-1) интервалов
Ni-1 – суммарное числа ошибок, обнаруженных за период от первого до (i-1)-го интервала времени включительно
M – общее число временных интервалов
NM – суммарное число обнаруженных ошибок

МиКПО

изменяется по мере возникновения отказов
При каждом отказе выявляется и устраняется

одна ошибка.
a,b – неизвестные константы
n – число устраненных ошибок за время тестирования от 0 до Т
ti – время i-го отказа
E – ожидаемое число ошибок
P(t) – функция надежности
t – оперативное время

МиКПО

в дискретной системе с непрерывным временем. Марковский процесс (процесс без

последствий) – процесс в котором для каждого момента времени вероятность любого состояния системы в будущем зависит от состояния во времени t0 и не зависит от того, каким образом система пришла в это состояние.
Последовательность состояний системы (n, n-1, n-2,..) соответствует периодам времени, когда предыдущая ошибка уже исправлена, а новая – не обнаружена.
Последовательность состояний системы (m, m-1, m-2,..) соответствует периодам времени, когда ошибки исправляются.
Ошибки обнаруживаются с интенсивностью λ, а исправляются с интенсивностью μ.
pij – вероятность перехода из одного состояния системы в другое
Δt – бесконечно малое

m

n

n-1

n-2

m-1

1- λn-1Δt

1- λnΔt

1- λn-2Δt

λnΔt

1-μmΔt

1-μm-1Δt

μmΔt

λn-1Δt

μm-1Δt

λn-2Δt

m-k+1

n-k+1

n-k

n-k-1

m-k

1- λn-kΔt

1- λn-k+1Δt

1- λn-k-1Δt

λn-k+1Δt

1-μm-k+1Δt

1-μm-kΔt

μm-k+1Δt

λn-kΔt

μm-kΔt

λn-k-1Δt

μm-k+2Δt

МиКПО

состоянии определяются как:



Готовность системы определяется как сумма вероятностей нахождения в

работоспособном состоянии:



Под готовностью системы к моменту времени t понимается вероятность того, что система находится в рабочем состоянии во время t.
Надежность системы после времени t отладки, за которое уже выявлено К ошибок, может быть определена из состояния:


 – интервал времени, когда может появиться (К+1)-я ошибка
κ(K) – принятая постоянная интенсивность проявления ошибок

МиКПО

– вероятность того, что модуль i будет изменяться, если модуль

j изменяется
Si, Sj – внутренняя связанность модулей
Cij – внешняя связанность модулей

Модель, определяющая время доводки программы
Позволяет при тестовой сборке системы определить возможное число необходимых исправлений и время, необходимое для доведения ПС до рабочего состояния.



pij – вероятность того, что изменения в i вызовут необходимость изменений в j

МиКПО