Статические модели надежности

Статические модели принципиально отличаются от динами­ческих прежде всего тем, что в них не учитывается время появления ошибок в процессе тестирования и не используется никаких предположений о поведении функции риска А..((). Эти модели строятся на твердом статистическом фундаменте.

Модель Миллса. Использование этой модели предполагает необходимость перед началом тестирования искусственно вносить в программу ("засорять") некоторое количество извест­ных ошибок. Ошибки вносятся случайным образом и фикси­руются в протоколе искусственных ошибок. Специалист, прово­дящий тестирование, не знает ни количества, ни характера вне­сенных ошибок до момента оценки показателей надежности по модели Миллса. Предполагается, что все ошибки (как есте­ственные, так и искусственно внесенные) имеют равную вероят­ность быть найденными в процессе тестирования.

Тестируя программу в течение некоторого времени, соби­рается статистика об ошибках. В момент оценки надежности по протоколу искусственных ошибок все ошибки делятся на собственные и искусственные. Соотношение:

,                                            (53)

дает возможность оценить N - первоначальное число ошибок в программе. В данном соотношении, которое называется форму­лой Миллса, S - количество искусственно внесенных ошибок, n - число найденных собственных ошибок, V - число обнару­женных к моменту оценки искусственных ошибок. Например, если в программу внесено 50 ошибок и к некоторому моменту тестирования обнаружено 25 собственных и 5 внесенных оши­бок, то по формуле Миллса делается предположение, что первоначально в программе было 250 ошибок.

Вторая часть модели связана с проверкой гипотезы от N Предположим, что в программе имеется К собственных ошибок| и внесем в нее еще S ошибок. В процессе тестирования были обнаружены все S внесенных ошибок и n собственных ошибок.

Тогда по формуле Миллса мы предполагаем, что первона­чально в программе было N = n ошибок. Вероятность, с которой можно высказать такое предположение, возможно рассчитать по следующему соотношению:

1, если n<K;

С =  ; если n£K .                           (54)

Например, если утверждается, что в программе нет ошибок (К=0), и при внесении в программу 10 ошибок все они в процессе тестирования обнаружены, но при этом не выявлено ни одной собственной, то С=0,9. То есть с вероятностью 0,9 можно утверж­дать, что в программе нет ошибок. Но если в процессе тестиро­вания была обнаружена одна собственная ошибка, то С=1, так как n > К, и наше предположение о том, что в программе нет ошибок, на 100% не подтвердилось.

Таким образом, величина С является мерой доверия к модели и показывает вероятность того, насколько правильно найдено значение N. Эти два связанных между собой по смыслу соотношения образуют полезную модель ошибок: первое пред­сказывает возможное число первоначально имевшихся в про­грамме ошибок, а второе используется для установления доверительного уровня прогноза. Однако формула (54) для расчета С не может быть использована в случае, когда не обнаружены все искусственно рассеянные ошибки. Для этого случая, когда оценка надежности производится до момента обнаружения всех 5 рассеянных ошибок, величина С рассчиты­вается по модифицированной формуле (55):

1, если n>K

C= , если n£K,                     (55)

где числитель и знаменатель формулы при n < К являются биноминальными коэффициентами вида:

.                                       (56)

В действительности модель Миллса можно использовать для оценки N после каждой найденной ошибки. Предлагается во время всего периода тестирования отмечать на графике число найденных ошибок и, текущие значения для N. Достоинством модели являются простота применяемого математического аппарата, наглядность и воз­можность использования в процессе тестирования.

Однако она не лишена и ряда недостатков, самые существен­ные из которых - это необходимость внесения искусственных ошибок (этот процесс плохо формализуем) и достаточно вольное допущение величины К, которое основывается исключительно на интуиции и опыте человека, проводящего оценку, т.е. допускает большое влияние субъективного фактора.

Модель Липова. Липов модифицировал модель Миллса, рассмотрев вероятность обнаружения ошибки при использова­нии различного числа тестов. Если сделать то же предположе­ние, что и в модели Миллса, т.е. что собственные и искусствен­ные ошибки имеют равную вероятность быть найденными, то вероятность обнаружения п собственных и V внесенных ошибок равна:

,                  (57)

где m — количество тестов, используеиых при тестировании;

q — вероятность обнаружения ошибки в каждом из т тестов, рассчитанная по формуле:

,                                             (58)

S - общее количество искусственно внесенных ошибок;

N-количество собственных ошибок, имеющихся в ПС до начала тестирования.

Для использования модели Лилова должны выполняться следующие условия:

N³n³0;

S³V³0;                                            (59)

m³n+V³0.

Оценки максимального правдоподобия (наиболее вероятное значение) для N задаются соотношениями:

           при n³1, V³1;

N =      при V = 0;                                     (60)

         0    при n = 0.

Модель Лилова дополняет модель Миллса, дав возможность оценить вероятность обнаружения определенного количества ошибок к моменту оценки.

Простая интуитивная модель. Использование этой модели предполагает проведение тестирования двумя группами программистов (или двумя программистами в зависимости от величины программы) независимо друг от друга, использую­щими независимые тестовые наборы. В процессе тестирования каждая из групп фиксирует все найденные ею ошибки. При оценке числа оставшихся в программе ошибок результаты тес­тирования обеих групп собираются и сравниваются.

Получается, что первая группа обнаружила N1 ошибок, вторая – N2, а N12 - это ошибки, обнаруженные обеими груп­пами.

Если обозначить через N неизвестное количество ошибок, присутствовавших в программе до начала тестирования, то можно эффективность тестирования каждой из групп определить как:

; .                                        (61)

Предполагая, что возможность обнаружения всех ошибок одинакова для обеих групп, можно допустить, что, если первая группа обнаружила определенное количество всех ошибок, она могла бы определить то же количество любого случайным образом выбранного подмножества. В частности, можно допу­стить, что:

.                                               (62)

Из формулы (25) N₂ = Е₂N, подставив в (26), получим:

,                                                  (63)

или

.                                          (64)

Значение N12 известно, а E₁ и E₂ можно определить как N₁₂/N₁ и N₁₂/N₁. Развивая эту модель и опираясь на предполо­жение, что обе группы, проводящие тестирование, имеют равную вероятность обнаружения "общих" ошибок, ее можно рассчитать по следующей формуле:

 ,                                  (65)

где Р(N₁₂) — вероятность обнаружения N₁₂ "общих" ошибок тестирования про­граммы двумя независимыми группами.

Модель Коркорэна. Модель Коркорэна относится к статиче­ским моделям надежности ПС, так как в ней не используются параметры времени тестирования и учитывается только резуль­тат N испытаний, в которых выявлено N1 ошибок i-го типа. Модель использует изменяющиеся вероятности отказов для различных типов сшибок.

В отличие от двух рассмотренных выше статических моделей, где оценивалось количество первоначальных ошибок в про­грамме, а также их количество, оставшееся после некоторого периода тестирования, по модели Коркорэна оценивается вероятность безотказного выполнения программы на момент оценки.

,                              (66)

где N₀ — число безотказных выполнений программы;

N — общее число прогонов;

К — априориорно известное число типов

      a_i, если N_i>0;

Y_i=                                                                   (67)

       0, если N_i = 0;

a_i — вероятность выявления при тестировании ошибки 1-го типа.

В этой модели вероятность a_i, должна оцениваться на основа­нии априорной информации или данных предшествующего периода функционирования однотипных программных средств. Наиболее часто встречающиеся ошибки и вероятности их выявлений при тестировании ПС прикладного назначения при­водятся в таблице 13 (пример).

Таблица 13 - Ошибки программы по категориям и вероятности их появления

Модель Нельсона. Данная модель была создана в фирме TRW (аэрокосмическая компания США), при расчете надеж­ности ПС учитывает вероятность выбора определенного тесто­вого набора для очередного выполнения программы.

Предполагается, что область данных, необходимых для выполнения тестирования программного средства, разделяется на К взаимоисключающих подобластей Z_i, i= 1,2, .... k. Пусть Р_i - вероятность того, что набор данных Z_i будет выбран для очередного выполнения программы. Предполагая, что к мо­менту оценки надежности было выполнено N_i прогонов про­граммы на Z_i наборе данных и из них n_i, количество прогонов закончилось отказом, надежность ПС в этом случае равна:

.                                      (68)

На практике вероятность выбора очередного набора данных для прогона (Р_i) определяется путем разбиения всего мно­жества значений входных данных на подмножества и нахожде­ния вероятностей того, что выбранный для очередного прогона набор данных будет принадлежать конкретному подмножеству. Определение этих вероятностей основано на эмпирической оценке вероятности появления тех или иных входов в реальных условиях функционирования.