Стратегия «черного ящика»

Стратегия тестирования, при которой целью является проверить, соответствует ли программа спецификациям, называется стратегией «черного ящика». Ее называют также управлением по данным, т. к. тесты составляются в соответствии с описаниями входных и выходных данных, без учета знаний о структуре программы. Программа, таким образом, рассматривается как черный ящик. При таком подходе критерием исчерпывающего тестирования является использование в качестве тестовых наборов всех возможных наборов входных данных, что в реальной ситуации невозможно. Во-первых, нельзя создать тест, гарантирующий отсутствие ошибок, во-вторых, разработка таких тестов противоречит экономическим требованиям. Отсюда вытекает необходимость определить методология построения оптимального набора тестов.

Основными методами проектирования тестов для стратегии «черного ящика» являются:

1) эквивалентное разбиение;

2) анализ граничных значений;

3) предположение об ошибке.

Использование этих методов позволяет составить набор тестов, которые выявляют максимальное число ошибок в программе.

Эквивалентное разбиение

Правильно составленный тест должен обладать двумя свойствами:

1) уменьшать более чем на единицу число других тестов, которые должны быть разработаны для достижения цели тестирования;

2) покрывать часть других возможных тестов, что дает возможность определить наличие или отсутствие ошибок при использовании этого множества значений данных.

Для того, чтобы минимизировать необходимое число тестов, входные данные разбиваются на конечное число классов эквивалентности. Каждый тест, относящийся к некоторому классу, должен быть эквивалентен любому другому тесту этого класса. Это означает, что если один тест обнаруживает ошибку, то и все другие тесты будут обнаруживать ту же ошибку. Напротив, если тест не обнаруживает ошибку, то и другие тесты ее не обнаруживают.

Разработка тестов методом эквивалентного разбиения выполняется в два этапа:

1) выделение классов эквивалентности;

2) построение тестов.

Выделение классов эквивалентности

С начала выделяются все входные условия, затем каждое из них разбивается на две или более групп. Для всех входных данных определяются правильные и ошибочные значения. Соответственно строятся правильные и неправильные классы эквивалентности. При этом существует ряд правил:

1) если входное условие описывает область значений (например, «данное целое, принимает значения от 1 до 99»), то определяется один правильный класс (1≤ значение целого данного ≤99) и два неправильных (значение целого данного >99 и значение целого данного <1);

2) если входное условие описывает число значений (например, «в группе должно быть от 1 до 30 человек»), то определяется один правильный класс (от 1 до 30 человек) и два неправильных (ни одного и более 30 человек);

3) если входное условие описывает множество значений и каждое значение используется особо (например, пункты меню от 1 до 5), то определяется правильный класс для каждого значения и один неправильный (не выбран ни один пункт);

4) если входное условие описывает ситуацию должно быть (например, «значение должно быть целым» или «строка должна содержать только буквы русского алфавита»), то определяется один правильный класс (значение - целое число или строка состоит только из букв русского алфавита) и один неправильный (значение - не целое число или строка содержит символ, отличный от букв русского алфавита);

5) если есть основания считать, что различные элементы класса эквивалентности дают разные результаты, то данный класс разбивается на меньшие;

6) каждому классу присваивается уникальный номер.

Для построения классов можно использовать следующую таблицу:

Для каждого из входных данных записываются условия, при которых оно считается верным, и в соответствии с ними определяются правильные классы эквивалентности. Затем, исходя из этих условий, определяется, какие значения будут недопустимыми, и по ним строятся неправильные классы.

Построение тестов

По выделенным классам эквивалентности строятся тесты. Этот процесс включает в себя:

1) проектирование новых тестов, каждый из которых покрывает как можно большее число непокрытых правильных классов эквивалентности, до тех пор, пока все правильные классы не будут покрыты тестами;

2) запись тестов, каждый из которых покрывает один и только один из непокрытых неправильных классов эквивалентности, до тех пор, пока все неправильные классы не будут покрыты тестами.

1) выделение классов эквивалентности;

2) построение тестов.

Причина покрытия неправильных классов индивидуальными тестами состоит в том, что определенные проверки с ошибочными данными скрывают или заменяют проверки с другими ошибочными данными.

Для построения тестов используется таблица:

Каждый тест содержит значения всех входных данных. Для каждого из входных данных записываются конкретные значения, при которых оно входит в один из классов эквивалентности (правильный или неправильный). В соответствии с ними определяются ожидаемые результаты работы программы (вывод значений, сообщения, завершение работы и т. д.). Один тест может покрывать несколько правильных классов по разным входным данным. Но для каждого неправильного класса строится отдельный тест. Это означает, что в тестовом наборе входных данных может быть только одно неверное или недопустимое значение.

Цель тестирования – показать, что в результате исполнения теста результат работы программы отличается от ожидаемого. Если тест обнаружил ошибку в программе, то тестовый прогон считается успешным. Если ошибка не обнаружена, то вполне вероятно, что тест был составлен неудачно, следует рассмотреть возможность проектирования нового теста и проверить еще раз работу программы.