Тема10 Комплексное тестирование
advertisement
Содержание Определение комплексного тестирования Схема проектирования комплексного теста Тестирование стрессов Тестирование объема Тестирование требований к памяти Тестирование защиты Тестирование средств восстановления Тестирование конфигурации Тестирование совместимости Тестирование настройки Тестирование удобства обслуживания Тестирование психологических факторов Тестирование публикаций Выполнение комплексного теста ГОСТ Р ИСО/ МЭК 12119-2000 Комплексное тестирование Тестирование функций – поиск различия между программой и ее спецификацией Тестирование системы – сопоставление результата и исходных целей Комплексное тестирование системы— процесс поисков несоответствия системы ее исходным целям. Элементы, участвующие в комплексном тестировании: сама система описание целей продукта вся документация, которая будет поставляться вместе с системой. - Правила Внешние спецификации, которые были ключевым элементом тестирования внешних функций, играют лишь незначительную роль в комплексном тестировании системы. Ко внешним спецификациям обращаться следует только для того, чтобы разбираться в противоречиях между системой и публикациями о ней Если не сформулировали цели вашего продукта или если эти цели неизмеримы, то нельзя выполнить комплексное тестирование!!!. Комплексное тестирование Процесс контроля Процесс испытаний (выполняется в имитируемой или тестовой среде (выполняется в реальной среде пользователя или в обстановке, которая специально создана так, чтобы напоминать среду пользователя) Тестирование Тестирование стрессов объема Тестирование требований к памяти Тестирование защиты Тестирование средств восстановления Тестирование надежности/готовности Тестирование конфигурации Тестирование производительности Тестирование совместимости Тестирование настройки Тестирование удобства обслуживания Тестирование удобства установки Тестирование удобства эксплуатации Тестирование психологических факторов Тестирование публикаций Схема проектирования комплексного теста Комплексное тестирование Тестирование стрессов – это попытки подвергнуть систему крайнему «давлению». Цель – показать, что система или программа не может работать в стрессовых ситуациях Комплексное тестирование Тестирование объема - попытка предъявить системе большие объемы данных в течение более длительного времени. Цель – показать, что система или программа не может обрабатывать данные в количествах, указанных в спецификациях Комплексное тестирование Тестирование конфигурации проверка аппаратных устройств, которые обслуживает система, или программы, с которыми система взаимодействует Цель – показать, возможность сбоя оборудования Комплексное тестирование Тестирование совместимости – это проверка возможности взаимодействия пользователя с прежней версией, работая в новой системе. Цель – показать наличия несовместимости Комплексное тестирование Тестирование защиты – это проверка обеспечения защиты системы от несанкционированного доступа Цель — нарушить секретность в системе Комплексное тестирование Тестирование требований к памяти – это проверка объема основной и вторичной памяти, которую системе разрешено использовать в различных условиях. Цель - попытаться показать, что система этих целей не достигает Комплексное тестирование Тестирование производительности – это проверка характеристик производительности или эффективности: время отклика уровень пропускной способности при определенной нагрузке и конфигурации оборудования Цель — показать несоответствие заявленным характеристикам . Комплексное тестирование Тестирование процесса настройки системы – возможности настроить систему, согласно ее характеристикам. Цель — показать трудности настройки Комплексное тестирование Тестирование надежности - это определение исходных показателей надежности Цель — показать несоответствие заявленным параметрам Комплексное тестирование Тестирование средств восстановления – проверка способности к восстановлению системы после сбоя Цель — показать невозможность восстановления Комплексное тестирование Тестирование удобства обслуживания – проверка сервисных средств системы Цель — показать невозможность сопровождения системы Комплексное тестирование Тестирование публикаций – проверка точности всей документации. Цель — выявить неточность и неясность документов Комплексное тестирование Тестирование психологических факторов - проверка психологических факторов работы с программой Цель — выявить недружественность интерфейса Комплексное тестирование Тестирование удобства установки – проверка процедуры настройки Цель — показать невозможность установки системы Комплексное тестирование Тестирование удобства эксплуатации – это попытка выявления психологических (пользовательских) проблем.. Комплексное тестирование Независимая группа тестирования включает: -Профессиональных специалистов -Пользователей (для которых система разрабатывалась) -Основных аналитиков -Проектировщиков системы -Несколько психологов Проектирование комплексного теста Компоненты теста * сценарий (точно указываются действия, которые должны быть совершены во время выполнения теста) * входные данные * ожидаемые выходные данные. Методы выполнения комплексного теста Опытная эксплуатация Использование системы в организацииизготовителе для внутренних нужд Выполнение комплексного теста Выполнение комплексного теста 1)Комплексное тестирование приходится на самый конец цикла разработки, так что на отладку и исправление найденных ошибок остается мало времени. 2)Поскольку сложные тесты часто обнаруживают более сложные для исправления ошибки, измените последовательность: начните с самых трудных тестов, а затем переходите к более простым Требования ГОСТ Р ИСО/МЭК 121192000 Указания ГОСТ Р ИСО/МЭК 12119-2000 определяют: • Порядок тестирования продукта на соответствие его требованиям к качеству и охватывают как тестирование для характеристик к продуктам, так и тестирование для характеристик, указанных в описании. • Описывает только функциональное тестирование (по принципу «черного ящика») Требования ГОСТ Р ИСО/МЭК 121192000 Описание продукта, документация пользователя, программы и любые данные, поставляемые как части пакета программ, должны быть протестированы на выполнение ими формулировок и требований. Программы должны быть протестированы во всех вычислительных системах, указанных в описании продукта. При наличии нескольких вариантов программы должен быть протестирован каждый из них. Требования ГОСТ Р ИСО/МЭК 121192000 Программы и данные должны быть протестированы с использованием контрольных примеров, разработанных на основе описания продукта и документации пользователя. Другие материалы (например, исходные программы) не проверяют, за исключением случаев, когда это необходимо при тестировании формулировок из описания продукта или документации пользователя. Требования ГОСТ Р ИСО/МЭК 121192000 Контрольные примеры должны быть методологически и систематически проработаны. Если в документации пользователя приведены примеры, то они должны быть использованы в качестве контрольных, но проводимое тестирование не должно быть ограничено только этими примерами. Могут быть использованы контрольные примеры, предоставляемые поставщиком программного пакета, но проводимое тестирование не должно быть ограничено только этими примерами. Требования ГОСТ Р ИСО/МЭК 121192000 Установка (инсталляция). Должна быть проверена возможность инсталляции программ и протестирована возможность успешной установки пакета согласно описанию, приведенному в руководстве по установке. Должно быть обеспечено, чтобы техническая и программная среда, в которой установлены программы, соответствовала формулировкам из описания продукта в части рассматриваемой вычислительной системы. Требования ГОСТ Р ИСО/МЭК 121192000 Выполнение программы Программы должны быть протестированы по всем граничным значениям (в соответствии с описанием продукта и документацией пользователя) в необходимой системе, для которой заданы эти значения. !!!При тестировании должны быть использованы исходные данные и последовательности команд, которые в документации пользователя явно не рекомендуются или объявляются запрещенными. Требования ГОСТ Р ИСО/МЭК 121192000 Протоколы тестирования должны содержать • план тестирования или технические требования (спецификацию) к тестированию, содержащую контрольные примеры (для каждого контрольного примера указаны его цели); •все результаты, связанные с контрольными примерами, включая все ошибки, выявленные при выполнении теста; • штат персонала, вовлеченного в тестирование. Требования ГОСТ Р ИСО/МЭК 121192000 Отчет о тестировании должен иметь следующую структуру: 1.Обозначение продукта. 2.Вычислительные системы, использованные при тестировании (технические средства, программные средства и их конфигурация). 3.Использованные документы (включая их обозначения). 4.Результаты тестирования описания продукта, документации пользователя, программ и данных. 5.Перечень несоответствий требованиям. 6.Перечень несоответствий рекомендациям либо перечень не учтенных в продукте рекомендаций, либо формулировка того, что продукт не был протестирован на соответствие рекомендациям. 7.Дата окончания тестирования. Требования ГОСТ Р ИСО/МЭК 121192000 Дополнительное тестирование Должны выполняются следующие требования: все измененные части документов, функций и данных должны быть протестированы как новый продукт; все неизмененные части, на которые могут влиять измененные части или изменения в необходимой системе (в соответствии с опытной оценкой тестировщика), должны быть протестированы как новый продукт; все другие части должны быть, по крайней мере, выборочно протестированы. Литература 1. Гусятников В.Н., Безруков А.И. Стандартизация и разработка программных систем. - М: Финансы и статистика, 2010. 2. Гагарина Л.Г., Кокорева Е.В., Виснадул Б.Д. Технология разработки программного обеспечения.- М: ИД «ФОРУМ»: ИНФРА-М, 2008 3. Липаев В.В. Тестирование программ.М.: Радио и связь, 1986.- 296 с.
