Тестирование и отладка программ. Состав и назначение «контрольного примера».

Тестирование и отладка с позиции разработчика включает 5-9 этапы жизненного цикла ПО. В процессе выполнения этих этапов разработчиком с заказчиком выявляются и устанавливаются все ошибки допущенные при проектировании.

Ошибки которые могут быть допущены в процессе проектирования:

системные, которые обусловлены неправильным пониманием задачи и назначением условий ее реализации;

алгоритмически связанные с некорректной формулировкой и реализации программы;

программные- в логике и операторах;

технологические, возникающие при подготовке документов и при вводе программ в ЭВМ.

Основным методом устранения ошибок является тестирование прогонка программы по заранее подготовленным тестам.

Тестирование позволяет не только устранить ошибки , но и оценить готовность ПО к эксплуатации.

Тестирование полноты решения функциональных задач при типовых исходных данных предназначено для обнаружения ошибок функционирования в типовых условиях, определенным техническим заданием на базовую версию ИС. Первичным эталоном являются цели и задачи создания ИС. В соответствие с этими задачами создается подробное формализованное техническое задание и спецификация требований на комплекс программ, которые являются основными эталонами при создании данного вида тестов. Для систем реального времени тесты содержат в основном динамические и стохастические данные. Эти данные имитируются моделями реальных объектов внешней среды. Результаты тестирования обрабатываются и сравниваются с эталонами преимущественно автоматически.

Контрольный пример оформляется в виде отдельного документа, прикладывается к рабочему проекту и должен быть утвержден заказчиком до начала опытной эксплуатации. В контрольном примере должны быть предусмотрены все логические цепочки алгоритмов обработки информации. Учтенные требования и ограничения представляются исходной информацией.

В контрольном примере должны быть использованы реальные массивы информации.

Процесс отладки по уровню сложности связям с реальными данными делится на программную и системную отладку.

Программная отладка включает общую логику программы и правильность ее представления, в процессе этой отладки устраняются алгоритмические, программные, технологические ошибки.

Системная отладка предназначена для проверки всей логической системы и всего комплекса программ

Тестирование функционирования программ в критических ситуациях по условиям и логике решения задач (стрессовое тестирование) предназначено для испытаний исполнения программ в нештатных ситуациях, которые редко реализуются, но важны для безопасного функционирования системы обработки информации и управления. Для разработки таких тестов создаются сценарии критических сочетаний значений исходных данных и условий решения задач, при которых необходимо проверить функционирование программ и можно ожидать искажения результатов и отказы.

Тестирование параллельного исполнения программ используется для обнаружения снижений надежности безопасности, обусловленных несогласованным использованием исходных и промежуточных данных, а также устройств вычислительной системы при параллельном исполнении программ. Это тестирование обычно требует большого количества исходных данных, содержащих как случайные, так и детерминированные составляющие. Такие данные подготавливаются в основном автоматически по сценариям наиболее критических сочетаний данных.

Тестирование эффективности защиты от искажений исходных данных служит для выявления ошибок в программах, проявляющихся при ложных или искаженных данных. Тестирование проводится при относительно небольших искажениях исходных данных, соответствующих нормированному возрастанию в них ошибок, а также при случайном полном искажении данных. При тестировании выявляются ситуации нарушения работоспособности ИС и величины снижения безопасности ее функционирования в зависимости от интенсивности искажений.

Тестирование корректности использования ресурсов памяти и производительности вычислительной системы служит для оценки безопасности исполнения программ при перегрузках памяти и производительности. Тестирование производится в основном в стохастическом режиме в реальном времени по подготовленным сценариям, создающим перегрузки оного из ресурсов системы. Проверке подлежит изменение качества, надежности и безопасности функционирования ИС вследствие пропусков обработке сообщений, возрастания длительности ожидания перед их обработкой или растягивания периодов решения задач. В результате тестирования устанавливаются реальные характеристики ИС на выбранной вычислительной системе по пропускной способности решения всего комплекса задач, а также по допустимой интенсивности решения отдельных типов задач и обработке различных сообщений.

Тестирование для измерения достигнутых значений надежности и безопасности базовых версий ИС предназначено для определения основных показателей надежности и безопасности при реальном функционировании программ. В процессе тестирования при типовых и критических условиях определяются значения наработки на отказ, длительности восстановления, коэффициента готовности и других показателей. Для сложных систем реального времени организуются многочасовые прогоны ИС при стохастических исходных данных, при которых регистрируются искажения результатов и выделяются нарушения работоспособности программ. При таком тестировании особое значение имеет соотношение типовых и критических условий функционирования и исходных данных.

При тестировании необходимо использовать имитаторы реальной внешней среды. В таких случаях (испытания систем управления воздушным движением, полетом самолетов космических кораблей, больших банковских систем) требования к средствам обеспечения испытаний технологической безопасности ИС сводятся к следующим положениям:

все данные от реальных объектов и имитаторов внешней среды должны поступать на испытываемую ИС с естественным ходом процессов в этих объектах реального времени;

диапазоны изменения исходных данных в имитаторах должны обеспечивать перекрытие всех характеристик современных реальных объектов внешней среды, а также предусматривать их расширения с учетом предполагаемого развития ИС и прогресса в соответствующих областях техники;

необходимо совмещать данные от реальных объектов внешней средыи от имитаторов, заменяющих некоторые из них, которые нерационально или невозможно применять при испытаниях в натуральном ввиде;

необходимо обеспечить регистрацию, контроль и обобщение характеристик генерируемых тестовых данных, эталонных данных и всех видов искажений и аномалий, поступающих на испытываемую ИС в любой момент времени и на любом заданном шаге обработки информации;

для всех тестовых данных должны быть подготовлены эталонные реакции ИС, с которыми следует сравнивать результаты, получаемые в процессе испытаний.

Тема 8: Международные стандарты, поддерживающие испытания технологической безопасности ИС .

Стандартизация технологической безопасности ИС.

Основой развития процесса стандартизации обеспечения технологической безопасности ИС и БД является формирование рационального по составу, структуре и уровням требований комплекса нормативно- технической документации (НТД), обеспечивающего нормативную основу создания и применения ИС. Уровень введения и применения международных норм, правил и требований в действующие отечественные НТД на сегодняшний день очень низок. В этих условиях реализация проектов информатизации без учета требований и рекомендаций международных стандартов приводит к большим потерям технических и финансовых ресурсов из-за несовместимости технических и программных средств.

Таблица. Международные стандарты, направленные на обеспечение технологической безопасности

Данные важные группы международных стандартов регламентируют:

Показатели качества программных средств;

Жизненный цикл и технологический процесс создания критических комплексов программ, способствующие их высокому и предотвращению непредумышленных дефектов;

Тестирование программных средств для обнаружения и устранения дефектов программ и данных;

Испытания и сертификацию программ для удостоверения достигнутого качества и безопасности их функционирования.

Технологическая безопасность функционирования ИС и БД при непредумышленных угрозах косвенно поддерживается еще многими десятками стандартов, которые, в той или инной степени, обеспечивают жизненный цикл и технологию разработки и сопровождения, качество, тестирование, испытания и сертификацию ИС и БД, а также унификацию их интерфейсов с операционной и внешней средой.