Положение о тестировании в проектах разработки

APLANA
SOFTWARE
117485,Россия, Москва, ул. Профсоюзная,84/32, под.6, этаж 7.
Тел.: (095) 748-13-45/748-13-46. Факс: (095) 333-6412 , E-mail: info@aplana.com
Группа компаний АйТи
ПОЛОЖЕНИЕ О ТЕСТИРОВАНИИ
В ПРОЕКТАХ РАЗРАБОТКИ ПРОГРАММНОГО
ОБЕСПЕЧЕНИЯ
дата введения:
основание для введения:
Приказ № __ Генерального директора от
дата отмены:
основание для отмены:
заменено на:
2002
г.
Положение о тестировании
УТВЕРЖДЕНО
Приказом Генерального директора
от
№
ПОЛОЖЕНИЕ О ТЕСТИРОВАНИИ
В ПРОЕКТАХ РАЗРАБОТКИ ПРОГРАММНОГО
ОБЕСПЕЧЕНИЯ
Листов 21
Положение о тестировании
АННОТАЦИЯ
Настоящий документ является частью организационного обеспечения
выполнения проектов разработки прикладного программного обеспечения. В
документе представлены обязательные процедуры и правила организации
тестирования программных продуктов в процессе разработки прикладного
программного обеспечения. Утвержденное положение имеет статус стандарта и
обязательно для выполнения всеми участниками проектов разработки
программного обеспечения.
© АПЛАНА Софтвер
1
Положение о тестировании
Содержание
1. ВВЕДЕНИЕ................................................................................................. 3
1.1. ЦЕЛЬ ДОКУМЕНТА................................................................................... 3
1.2. СФЕРА ПРИМЕНЕНИЯ .............................................................................. 3
1.3. НОРМАТИВНАЯ ОСНОВА ......................................................................... 3
1.4. СВЕДЕНИЯ О ДОКУМЕНТЕ ....................................................................... 3
1.5. ПРОЦЕДУРА СОПРОВОЖДЕНИЯ ПОЛОЖЕНИЯ ......................................... 3
1.6. ТЕРМИНЫ, СОКРАЩЕНИЯ И ОПРЕДЕЛЕНИЯ ............................................. 4
2. ОСНОВНЫЕ ПОЛОЖЕНИЯ ................................................................. 7
2.1. ЦЕЛИ ТЕСТИРОВАНИЯ ............................................................................. 7
2.2. УЧАСТНИКИ ПРОЦЕССА ТЕСТИРОВАНИЯ ................................................ 7
2.2.1. Распределение ответственности ................................................ 7
2.2.2. Ключевая роль тестировщика ...................................................... 7
2.3. ДОКУМЕНТИРОВАНИЕ ............................................................................. 8
3. СТАНДАРТ ПРОЦЕССА ТЕСТИРОВАНИЯ ..................................... 9
3.1. ОБЯЗАТЕЛЬНЫЕ ДОКУМЕНТЫ ................................................................. 9
3.1.1. План тестирования (Test plan) ..................................................... 9
3.1.2. Тестовые спецификации (test case specifications) ...................... 10
3.1.3. Тестовые процедуры (Test-Procedure Specifications) ................ 10
3.1.4. Отчет тестирования (Test incident report) ............................... 11
3.1.5. Итоговый отчет тестирования (Test summary report) ........... 11
3.1.6. Программа и методика испытаний (Acceptance test) ............... 12
3.2. ИЗМЕРЕНИЯ ........................................................................................... 12
3.2.1. Количество ошибок ...................................................................... 12
3.2.2. Степень серьезности ошибок ..................................................... 12
3.2.3. Плотность ошибок ...................................................................... 12
3.3. ВЕРИФИКАЦИЯ И ВАЛИДАЦИЯ .............................................................. 12
3.3.1. Менеджер проекта ...................................................................... 12
3.3.2. Группа контроля качества .......................................................... 13
3.3.3. Руководство организации ............................................................ 13
3.3.4. Процедуры тестирования ........................................................... 13
3.3.5. Разработка плана тестирования ............................................... 13
3.3.6. Разработка тестовых спецификаций ........................................ 14
3.3.7. Выполнение тестов ...................................................................... 15
3.4. УСТРАНЕНИЕ ОШИБОК .......................................................................... 17
3.4.1. Атрибуты сообщения об ошибке................................................ 17
3.4.2. Диаграмма состояний сообщения об ошибке ............................ 18
3.4.3. Процедура устранения ошибок ................................................... 18
© АПЛАНА Софтвер
2
Положение о тестировании
1. Введение
1.1.
Цель документа
Целью «Положения о тестировании продуктов разработки прикладного
программного обеспечения» (далее – Положение) является:
1. Организация процесса тестирования программных продуктов.
2. Обеспечение полноты тестирования на соответствие требованиям к
продукту.
3. Организация контроля над процессом тестирования.
1.2.
Сфера применения
Положение предназначено для использования в области разработки
прикладного программного обеспечения и документации.
Положение является частью документационного обеспечения процесса
разработки заказного программного обеспечения.
Утвержденное Положение имеет статус внутреннего стандарта и
обязательно для исполнения в проектах разработки прикладного программного
обеспечения.
1.3.
Нормативная основа
В качестве нормативной основы при разработке данного Положения
использован стандарт:
IEEE Std 829-1998 «Standard for Software Test Documentation»
1.4.
Сведения о документе
Номер версии:
Х.Х
Дата выпуска:
ХХ.ХХ.ХХХХ г.
Дата утверждения:
ХХ.ХХ.ХХХХ г.
1.5.
Процедура сопровождения Положения
Настоящее Положение разрабатывается в Группе Методологии, и
утверждается Генеральным Директором.
Сопровождение, версионный контроль и доведение Положения до всех
сотрудников компании осуществляет Группа Методологии. Номер версии
присваивается в процессе ввода Положения в действие.
Группа Методологии выполняет сбор предложений и замечаний, которые
формируются в ходе контроля исполнения настоящего положения в
соответствии с процедурами, утвержденными в «Положении о контроле
качества». По результатам обобщения и анализа предложений и замечаний
разрабатываются новые версии Положения.
© АПЛАНА Софтвер
3
Положение о тестировании
При исправлении ошибок или несоответствий Положению присваивается
следующий по порядку вспомогательный номер версии (после разделительной
точки); при изменении и вводе в действие новых элементов организации или
технологии работ, новой версии Положения присваивается следующий по
порядку основной номер.
При вводе в действие новой версии Положение публикуется на Intranet –
узле компании, сотрудники подразделений уведомляются о выпуске новой
версии по электронной почте.
1.6. Термины, сокращения и определения
Сокращение, Расшифровка сокращения или термина
термин
Категория
на
английском
языке
ГМР
Группа методологии разработки
Software
Engineering
Process Group
ГОК
Группа обеспечения качества
Quality
Assurance Group
Заказчик
Организация,
в
интересах
которой Customer
разрабатывается
программный
продукт,
имеющая полномочия утверждать требования
к программному продукту и принимать
результат разработок. В качестве заказчика
может
выступать
сторонняя
фирма,
департамент
компании,
руководитель
комплексного проекта, группа маркетинга и
пр. В контексте настоящего Положения под
Заказчиком
понимаются
ответственные
сотрудники,
имеющие
полномочия
согласовывать и утверждать технические и
организационные документы проекта от имени
Заказчика.
Интеграционн Тестирование взаимодействия подсистем на Integration test
ое
соответствие проектным решениям
тестирование
Итоговый
Отчет о выполнении плана тестирования
Test-Summary
отчет
Report
тестирования
Ключевая роль Роль, которая должна быть заполнена в Key role
течение всего жизненного цикла проекта,
причем, как правило, одним и тем же
специалистом. Если роль в проекте заполнена
несколькими специалистами, ключевую роль
будет
играть
специалист,
назначенный
ведущим за данное направление.
Комплексное Полное
тестирование
на
соответствие Complex test
тестирование требованиям к продукту
© АПЛАНА Софтвер
4
Положение о тестировании
Сокращение, Расшифровка сокращения или термина
термин
Категория
на
английском
языке
Конструктор Ключевая роль в рабочей группе проекта Designer
разработки
программного
обеспечения,
отвечающая за разработку технического
проекта
Менеджер
Ключевая роль в рабочей группе проекта Project Manager
проекта
разработки
программного
обеспечения,
отвечающая за организацию работ и
координацию действий участников проекта
Модульное
Тестирование
отдельного
модуля
на Module test
тестирование соответствие требованиям к программному
продукту и проектным решениям
Отчет
Отчет о результатах выполнения тестов
Test
Incident
тестирования
Report
Ошибка
Несоответствие требованию
Defect
План
Документ, описывающий объем, методы и Test plan
тестирования задачи тестирования
ПО
Программное Обеспечение
Software
ПриемоТестирование, предназначенное для проверки Acceptance
сдаточные
работоспособности программного продукта в testing
испытания
целом
Программа и Тестовая процедура, предназначенная для Acceptance test
методика
проверки работоспособности программного specifications
испытаний
продукта в целом
Продукт
Результат, произведенный в ходе выполнения Product
проекта
Проект
Ограниченная во времени деятельность, Project
направленная на разработку уникального
продукта
Протокол
Хронологический
отчет
о
результатах Test log
тестирования выполнения процедуры тестирования
Разработчик
Ключевая роль в рабочей группе проекта Developer
разработки
программного
обеспечения,
отвечающая за кодирование и отладку ПО
Регрессионное Повторное тестирование с целью обеспечения Regression test
тестирование полноты тестирования перед выпуском
релизов
© АПЛАНА Софтвер
5
Положение о тестировании
Сокращение, Расшифровка сокращения или термина
термин
Категория
на
английском
языке
Роль
Множество обязанностей, которое возлагается Role
на сотрудника на время выполнения проекта.
Один сотрудник может совмещать несколько
ролей в проекте. Одну роль в проекте могут
выполнять
несколько
специалистов.
В
последнем случае группа специалистов,
выполняющая одну роль, должна быть
структурирована с выделением ведущего члена
рабочей
группы,
ответственного
за
организацию работ по данному направлению.
Системное
Системное тестирование, проводимое с целью System test
тестирование проверки взаимодействия разработанного
продукта с операционным окружением
Спецификация Документ
Test-Design
проекта тестов
Specification
Тестирование Последовательность основных процессов, Test
выполняемых в рамках создания программного
обеспечения, назначение которых – поиск
несоответствий системы требованиям (ошибок
в системе)
Тестировщик Ключевая роль в рабочей группе проекта Tester
разработки
программного
обеспечения,
отвечающая за тестирование разрабатываемого
программного продукта
Тестируемый Идентифицируемая
часть
программного Test Item
элемент
продукта, предназначенная для тестирования
Тестовая
Последовательность
взаимосвязанных Test-Procedure
процедура
тестовых спецификаций (Test Case) для полной Specification
проверки группы требований.
Тестовая
Описание теста (т.e. данных, разработанных Test
Case
спецификация для проверки отдельной программы или Specification
верификация соответствия на определенное
требование)
ТЗ
Техническое Задание
Requirement
Specifications
Требование
Требование
к
разрабатываемому Requirement
программному продукту
© АПЛАНА Софтвер
6
Положение о тестировании
2. Основные положения
2.1. Цели тестирования
Целью тестирования является:
1. выявление проблем, связанных с несоответствием разрабатываемого
программного продукта – требованиям к нему;
2. учет статуса проблем;
3. снижение рисков проекта, связанных с качеством разрабатываемого
продукта.
2.2.
Участники процесса тестирования
В соответствии с моделью рабочей группы, утвержденной в Положении о
планировании, в проекте разработки программного обеспечения участвуют
следующие ключевые роли: менеджер проекта, аналитик, конструктор,
разработчик, тестировщик, технический писатель, интегратор.
2.2.1. Распределение ответственности
Менеджер проекта
– ключевая роль рабочей группы, несет
ответственность за обеспечение ресурсами процесса тестирования,
координацию взаимодействия работ по тестированию и исправлению
выявленных дефектов и организацию разрешения спорных вопросов по
проблемам.
Разработчик, Технический писатель – ключевые роли рабочей группы,
несут ответственность за исправление выявленных ошибок в рамках
выделенных ресурсов.
Конструктор – ключевая роль рабочей группы, несет ответственность за
контроль целостности проектных решений в процессе исправления
разработчиками выявленных дефектов и формирование способов исправления
ошибок в сложных или неоднозначных ситуациях.
Интегратор – ключевая роль рабочей группы, несет ответственность за
контроль и выпуск версий разрабатываемого программного обеспечения в
соответствии с согласованными критериями тестирования.
Аналитик – ключевая роль рабочей группы, несет ответственность за
установку приоритетов, связанных с необходимостью и срочностью
исправления выявленных ошибок.
Тестировщик – ключевая роль рабочей группы, несет ответственность за
процесс тестирования в целом (см. п. 2.2.2).
2.2.2. Ключевая роль тестировщика
В каждом проекте разработки программного обеспечения в рабочей
группе должна быть заполнена ключевая роль тестировщика, на которую
возлагается ответственность за обеспечение процесса тестирования в целом.
© АПЛАНА Софтвер
7
Положение о тестировании
В зависимости от масштабов проекта роли могут совмещаться по
правилам, описанным в Положении о планировании или, для больших проектов,
- расширяться до образования ролевой группы.
Для малых проектов роль тестировщика в первую очередь рекомендуется
совмещать с ролями: аналитика и документатора. Допускается совмещение роли
тестировщика с ролью интегратора. Не допускается совмещение роли
тестировщика с ролями разработчика, конструктора и менеджера проекта (см.
Положение о планировании).
Для больших проектов роль тестировщика заполняется несколькими
специалистами с образованием группы тестирования. При этом должна
обеспечиваться следующая структура группы тестирования:
Руководитель группы тестирования (Test manager) – представляет
ключевую роль тестировщика в рабочей группе, несет ответственность за
организацию процесса тестирования в проекте, планирование и контроль
действий по тестированию.
Тест аналитик (Test analyst) – несет ответственность за формирование
тестовых спецификаций, и анализ итогов тестирования.
Тест разработчик (Test developer) – несет ответственность за разработку
автоматизированных тестов, предусмотренных в плане тестирования, установку
и сопровождение инфраструктуры тестирования, создание стенда для
проведения тестирования в соответствии с планом тестирования.
Исполнитель тестов (Test operator) несет ответственность за
фактическое исполнение тестов и документирование выявленных дефектов.
Приведенные роли могут совмещаться внутри группы тестирования. Роль
руководителя группы тестирования должна быть заполнена от начала до
завершения проекта. Остальные роли могут привлекаться в ходе проекта по
мере необходимости.
2.3.
Документирование
Процесс тестирования ПО должен быть документированным.
Действующие версии документов должны быть оформлены, согласованы и
утверждены в соответствии с настоящим положением и опубликованы для
сведения рабочей группы проекта, ГКК, руководства организации и заказчика,
по его требованию. Выявленные в ходе тестирования дефекты должны быть
полностью описаны и документированы. Полная документация, созданная в
ходе тестирования, сохраняется и сдается в архив по завершении проекта.
© АПЛАНА Софтвер
8
Положение о тестировании
3. Стандарт процесса тестирования
3.1.
Обязательные документы
3.1.1. План тестирования (Test plan)
Цель плана тестирования – обеспечить полноту процесса тестирования.
План тестирования разрабатывается на основе технического задания требований к продукту.
В плане тестирования описываются способы, виды и критерии
тестирования для всех требований, необходимые ресурсы и порядок
выполнения тестирования.
План тестирования согласуется со всеми ключевыми членами рабочей
группы и утверждается менеджером проекта.
План тестирования должен включать в себя следующие разделы:
Название раздела
Введение
(Introduction)
Тестируемые
требования
(Requirements to be
tested)
Не тестируемые
требования
(Requirements not to
be tested)
Методы
тестирования
(Approach)
Требования к среде
тестирования
(Environmental
needs)
Требуемые
© АПЛАНА Софтвер
Описание
В разделе приводятся ссылки на исходные документы,
описываются общий подход, обеспечивающий полноту
тестирования, описываются требования к итерационности
разработки на основе снижения рисков и стоимости проведения
полного тестирования.
Приводятся тестируемые требования (указываются ссылки на
требования). Устанавливаются правила идентификации и
прослеживаемости документов для гарантированного тестирования
всех запланированных требований.
Описываются требования (указываются ссылки), для которых не
планируются проведение тестирования.
Основной раздел плана. Включает следующую информацию по
всем группам требований, планируемых к тестированию:

Ссылка на требования (идентификатор требования)

Метод тестирования: указывается общий способ
тестирования (подход к тестированию), тип тестирования
(ручное или автоматизированное), при необходимости
дается обоснование специальных методов тестирования

критерий успешности тестов

требования к среде тестирования

требуемые ресурсы

ссылка на тестовую спецификацию (идентификатор
тестовой спецификации)
Указываются общие требования к установке стенда,
инструментальным средствам, среде тестирования, требования к
разработке дополнительных программ (имитационных,
управляющих, поддерживающих) и пр.
Указываются общие потребности в персонале с учетом уровня
9
Положение о тестировании
Ресурсы (Staffing
and Training Needs)
Этапы
тестирования
(Schedule)
Критерии
тестирования (Pass
criteria)
квалификации, необходимость обучения для проведения
тестирования, требования к времени тестирования
Указывается этапы тестирования в связи с этапами разработки и
указанием видов тестирования: модульное тестирование,
интеграционное тестирование, комплексное тестирование,
системное тестирование, опытная эксплуатация (beta –
тестирование).
Указываются критерии завершения тестирования на различных
этапах тестирования. В качестве стандартного критерия завершения
тестирования принимается достижение заданного уровня
плотности ошибок (см. п. 3.2.6)
3.1.2. Тестовые спецификации (test case specifications)
Цель тестовых спецификации – дать полное определение тестов.
Тестовые спецификации разрабатываются на основе следующих
документов: плана тестирования и технического проекта.
Для каждой тестовой спецификации указываются следующие разделы:
Название раздела
Описание
Идентификатор
Указывается идентификатор тестовой спецификации, приводимый
(Identifier)
в плане тестирования.
Тестируемый
Указывается модуль, подсистема или приводится ссылка на
элемент (test item)
описание элемента в техническом проекте.
Описание входа
Описание входной информации, источников информации, условий
(Input Specification) ввода.
Описание выхода
Описание ожидаемой выходной информации или ожидаемой
(Output
реакции, полностью идентифицирующей корректность работы
Specification)
тестируемого элемента
Метод
Указывается способ тестирования (детальное описание).
тестирования
(Approach
Refinements)
Требования к среде Указываются специальные требования к среде тестирования для
тестирования
данного теста
(Environmental
needs)
Процедурные
Описываются специальные требования к тестовой процедуре,
требования (Special которая будет выполнять данный тест
Procedural
Requirements)
Взаимозависимости Указываются взаимозависимости между тестовыми
(Intercase
спецификациями
dependences)
3.1.3. Тестовые процедуры (Test-Procedure Specifications)
Цель тестовых процедур – определить набор последовательных действий
для полного тестирования определенного набора требований для определенного
тестируемого элемента. Тестовая процедура определяет действия для
выполнения набора тестовых спецификаций.
© АПЛАНА Софтвер
10
Положение о тестировании
Название раздела
Идентификатор тестовой
процедуры (Identifier)
Цель (Purpose)
Специальные требования
(Special Requirements)
Установка (Set Up)
Процедурные действия
(Procedure steps)
Критерии оценки
результата
Описание
Указывается идентификатор тестовой процедуры
Приводится цель тестовой процедуры. Даются ссылки на
исполняемые тестовые спецификации (идентификаторы).
Указываются специальные требования, которые необходимо
выполнить для обеспечения работы тестовой процедуры.
Указываются предварительные действия, которые
необходимы для установки и запуска тестовой процедуры.
Последовательность шагов, выполняемая при проверке
тестируемого элемента для ручного тестирования. Для
автоматического тестирования указывается ссылка на
программу тестирования.
Указываются критерии оценки результатов выполнения
тестовой процедуры
3.1.4. Отчет тестирования (Test incident report)
Отчет тестирования имеет целью документировать описание ошибок
(дефектов) возникших в результате тестирования.
Название раздела
Описание
Идентификатор
Указывается уникальный идентификатор, присвоенный отчету о
отчета (Identifier)
тестировании
Тестируемый
Указывается тестируемый элемент, включая версию элемента.
элемент (Test
element)
Тестовая процедура Дается ссылка на тестовую процедуру (идентификатор).
(Test Procedure)
Тестовая
Дается ссылка на тестовую спецификацию (идентификатор).
спецификация (Test
Case)
Описание ошибки
Дается детальное описание фактического результата выполнения
(Defect Description) теста по сравнению с ожидаемым в соответствии с тестовой
спецификацией
Оценка серьезности Указывается оценка тестировщиком степени серьезности ошибки
3.1.5. Итоговый отчет тестирования (Test summary report)
Итоговый отчет тестирования имеет целью документировать результат
исполнения плана тестирования. Итоговый отчет тестирования выпускается для
каждой выпускаемой версии разрабатываемого программного обеспечения.
Название раздела
Описание
Идентификатор
Указывается уникальный идентификатор, присвоенный отчету
отчета (Identifier)
Резюме (Summary) Приводится ссылка на оттестированную подсистему (систему) и ее
версию. Приводится ссылка на план тестирования или часть плана
(главы) для которого выпускается отчет. Приводятся итоговые
данные по полноте тестирования в соответствии с планом и
результирующие данные по уровню не исправленных ошибок.
© АПЛАНА Софтвер
11
Положение о тестировании
Отклонения
(Variances)
Оценка полноты
тестирования
(Comprehensiveness
Assessment)
Суммарные
результаты
(Summary Results)
Оценка (Evaluation)
Указывается все отклонения принятые в тестовых спецификациях и
тестовых процедурах относительно плана тестирования.
Приводятся причины или обоснования принятых отклонений.
Проводится оценка полноты тестирования. Дается список пунктов
плана, которые выполнены не полностью. Приводятся причины
неполного тестирования.
Дается общее описание неразрешенных ошибок.
Приводится общая оценка результатов тестирования по всем
элементам тестирования (полнота тестирования, плотность
неразрешенных ошибок)
3.1.6. Программа и методика испытаний (Acceptance test)
Программа и методика испытаний представляет собой тестовую
процедуру (test procedure specification), предназначенную для выполнения
комплексного тестирования (complex test), при проведении испытаний
(acceptance testing).
По требованию заказчика документ оформляется в соответствии с ГОСТ
34.603-92
3.2.
Измерения
3.2.1. Количество ошибок
В процессе тестирования производится вычисление количества
выявленных ошибок, включая количество разрешенных и оставшихся ошибок.
3.2.2. Степень серьезности ошибок
Степень серьезности ошибок измеряется так же, как это принято в
Положении о контроле качества.
3.2.3. Плотность ошибок
Плотность ошибок является основным показателем качества реализации
версии продукта. Плотность ошибок представляет собой количество ошибок,
рассчитанное с весом серьезности, отнесенное к объему продукта в выбранной
метрике (см. Положение о планировании).
3.3.
Верификация и валидация
3.3.1. Менеджер проекта
Менеджер проекта регулярно контролирует ход выполнения процесса
тестирования. Менеджер проекта утверждает план тестирования и итоговый
отчет тестирования.
© АПЛАНА Софтвер
12
Положение о тестировании
3.3.2. Группа контроля качества
Группа контроля качества на регулярной основе осуществляет проверки
процесса тестирования в соответствии с Положением о контроле качества
проектов. Группа контроля качества проверяет наличие документов
тестирования, соответствие между документами, исполнение процедур
тестирования.
3.3.3. Руководство организации
Руководство
организации
контролирует
исполнение
процессов
тестирования в проектах на основе отчетов Группы контроля качества.
3.3.4. Процедуры тестирования
3.3.5. Разработка плана тестирования
№
Действие
Исполнител
и
Входные
документы
1.
Разработка плана Тестировщик
тестирования
(Тест
менеджер)
Техническое
задание (Software
Requirement
Specification)
2.
Согласование
плана
тестирования
План тестирования
© АПЛАНА Софтвер
Системный
аналитик
Результиру
ющие
документы
План
тестировани
я
Требования
Положения
плана
тестировани
я
должны
быть
трассируемы
к
требованиям
.
Согласованн План
ый
план тестировани
тестировани я
я
согласуется
с точки
зрения
обеспечения
полноты
проверки
требований
13
Положение о тестировании
№
3.
Действие
Утверждение
плана
тестирования
Исполнител
и
Менеджер
проекта
Входные
документы
Согласованный
план тестирования
Результиру
ющие
документы
Утвержденн
ый
план
тестировани
я
Требования
Результирую
щие
документы
Тестовые
спецификац
ии
Требования
План
тестировани
я
утверждаетс
я,
если
обеспечивае
тся
выделение
всех
необходимы
х ресурсов,
заявленных
в
плане
тестировани
я
3.3.6. Разработка тестовых спецификаций
№
Действие
Исполнители
1.
Разработка
тестовых
спецификаций
Тестировщик
(Тестаналитик)
2.
Разработка
тестовых
процедур
Тест
Тестовые
разработчик,
спецификации,
Тест аналитик Тест план,
Техническое
задание
© АПЛАНА Софтвер
Входные
документы
План
тестирования,
Техническое
задание,
Технический
проект
Тестовые
процедуры
Спецификац
ии
тестов
должны
быть
трассируемы
к
пунктам
тест плана
Тест
разработчик
разрабатыва
ет
процедуры в
соответстви
и с планом
тестировани
я
14
Положение о тестировании
№
Действие
Исполнители
3.
Верификация
тестовых
спецификаций
тестовых
процедур
Тестировщик
(Тест
и менеджер)
4.
Согласование
Менеджер
тестовых
проекта,
процедур
в Системный
рабочей группе
аналитик,
Конструктор
5.
Утверждение
приемосдаточных
(acceptance)
тестовых
процедур
Менеджер
проекта
Входные
документы
Результирую
щие
документы
Тестовые
Верифициро
спецификации,
ванные
Тестовые
тестовые
процедуры
спецификац
ии
и
тестовые
процедуры,
Итоговый
отчет
тестировани
я в части
полноты
тестировани
я
Верифицированные Согласованн
тестовые
ые тестовые
спецификации
и спецификац
тестовые
ии
и
процедуры
тестовые
процедуры
Верифицированные Утвержденн
приемо-сдаточные ые приемотестовые
сдаточные
процедуры
тестовые
процедуры
Требования
Верификаци
я
осуществляе
тся
на
соответствие
плану
тестировани
я,
техническом
у заданию и
техническом
у проекту
В
обязательно
м
порядке
утверждают
ся только те
процедуры,
которые по
плану
тестировани
я
предлагается
использоват
ь
для
приемосдаточных
испытаний
(программа
и методика
испытаний)
3.3.7. Выполнение тестов
№ Действие
© АПЛАНА Софтвер
Исполнители
Входные
документы
Результирую Требования
щие
документы
15
Положение о тестировании
№ Действие
Исполнители
Входные
документы
1. Передача
тестируемого
элемента
тестирование
Разработчик,
Тестировщик
на (Исполнитель
тестов)
2. Тестирование
Тестировщик
(Исполнитель
тестов)
Тестируемый
элемент,
инсталлированный
в среде
тестирования
Отчеты
тестировани
я
Разработчик
Отчеты
тестирования
Тестировщик
(Тест
менеджер)
Отчеты
тестирования с
информацией
разработчика об
исправлении
Отчеты
тестировани
я
с
информацие
й
разработчик
а
об
исправлении
Итоговый
отчет
тестировани
я в части
фактическог
о
уровня
тестировани
я
данного
элемента
3. Устранение
ошибок
результатам
тестирования
4. Анализ
достижения
критериев
тестирования
по
5. Фиксация версии Интегратор
тестируемого
элемента
© АПЛАНА Софтвер
Тестируемый
элемент с
указанной
внутренней
версией
Результирую
щие
документы
Тестируемы
й элемент,
инсталлиров
анный
в
среде
тестировани
я
Итоговый отчет
тестирования в
части фактического
уровня
тестирования
данного элемента
Требования
Исходный
код
тестируемог
о элемента
должен
находиться в
базе
конфигурац
ионного
управления
с
фиксирован
ной
внутренней
версией
Отчеты
тестировани
я могут
составляться
в базе Clear
Quest
Детально
процесс
устранения
ошибок
в
ходе
тестировани
я описан в п.
3.4
Критерий
завершения
тестировани
я
устанавлива
ется в плане
тестировани
я по уровню
плотности
ошибок
Версия
элемента
16
Положение о тестировании
3.4. Устранение ошибок
Раздел содержит описание схемы управления сообщениями об ошибках,
выявленных в ходе тестирования ПО с использованием продукта Clear Quest от
Rational Software Corporation.
Для описания процесса контроля за устранением ошибок в ПО
используется диаграмма состояний (State chart diagram).
Диаграмма состояний описывает, в каких состояниях может находиться
обрабатываемая системой запись об ошибке, и какие события сопровождают
или являются причиной смены состояний.
К состояниям пунктирными стрелками привязываются роли или группы,
которые ответственны за запись в текущем состоянии и имеют право выполнить
переход из этого состояния. К действиям пунктирными стрелками
привязываются роли или группы, которые имеют право выполнить это
действие.
3.4.1. Атрибуты сообщения об ошибке
Название
Описание
Каткое
название
Описание
ошибки
Дата
регистрации
Регистратор
Местонахожде
ние
Версия
Краткое название ошибки
Описание ошибки и условий ее
проявления
Дата регистрации сообщения
Тестировщик, обнаруживший ошибку
Модуль, подсистема, в которой
обнаружена ошибка
Версия подсистемы, в которой
обнаружена ошибка
Ответственный Разработчик, назначенный для
разработчик
исправления ошибки
Проект
Приоритет
Версия
устранения
Ссылка на проект
Приоритет исправления ошибки
Версия подсистемы, в которой ошибка
была устранена
© АПЛАНА Софтвер
Состояние, в
Роль кем
котором
заполняется
заполняется
Зарегистрировано Тестировщик
Зарегистрировано Тестировщик
Автомат
Автомат
Зарегистрировано Тестировщик
Зарегистрировано Тестировщик
Назначено
Старший
разработчик
(при наличии
группы
разработчиков
)
Зарегистрировано Тестировщик
Назначено
Конструктор
Закрыто
Конструктор
17
Положение о тестировании
3.4.2. Диаграмма состояний сообщения об ошибке
Регистрация сообщения
Зарегистрировано
(Submitted)
Отклонить
(Reject)
Отклонено
(Rejected)
Отклонить
(Reject)
Подтверждение ошибки
(Approve)
Подтверждено
(Approved)
Назначение исполнителя
(Open)
Назначено
(Opened)
Не подтверждено
(Revert)
Устранение ошибки
(Commit)
Исправлено
(Corrected)
Проверка исправления
(Validate)
Устранено
(Eliminated)
Включить в версию
(Close)
Закрыто
(Closed)
3.4.3. Процедура устранения ошибок
№ Действие
Исполнители
1. Регистрация
сообщения
Тестировщик
(Исполнитель
тестов)
2. Подтверждение
ошибки
Разработчик
(Главный
разработчик)
© АПЛАНА Софтвер
Исходное
состояние
Конечное
Комментарий
состояние
Зарегистрирова Должны быть
но
заполнены
обязательные
атрибуты
сообщения (см.
п. 3.4.1)
Зарегистриров Подтверждено В случае
ано
подтверждения
ошибки
18
Положение о тестировании
№ Действие
3. Назначение
исполнителя
4. Устранение
ошибки
5. Проверка
исправления
Исполнители
Исходное
состояние
Конечное
состояние
Отклонено
Разработчик
(Главный
разработчик)
Разработчик
(Разработчик
исполнитель)
Подтвержден
о
Назначено
Назначено
Исправлено
Тестировщик
(Исполнитель
тестов)
Исправлено
Отклонено
Назначено
Устранено
6. Включение
версию
© АПЛАНА Софтвер
в Тестировщик
(Тест
менеджер)
Устранено
Закрыто
Комментарий
В случае не
подтверждения
ошибки или
нецелесообразно
сти ее
исправления
Должен
быть
назначен
разработчик
Ошибка
исправлена
Выполняется
только
конструктором,
в случае
невозможности
исправления
ошибки
Если ошибка не
была исправлена
корректно
Исправление
ошибки
подтверждено
Фиксируется
включение
исправления в
очередную
версию
19