Школа тест-менеджеров

Первый класс
Наталья Руколь
Лаборатория Качества
2010+
План встречи
 Вводная часть
 Знакомство
 Цели школы тест-менеджеров
 Формат и правила Школы
 Первое занятие – «Процесс тестирования»
 Цели и задачи тестирования
 Что влияет на тестирование?
 Каким может и должно быть тестирование?
 Определяем свой «идеальный» процесс
тестирования
Знакомство
 «Лаборатория Качества» - болтолог




идеолог
«Undev.Ru» - тестопроцессостроитель
«Лаборатория Касперского» –
руководитель отдела автоматизации
тестирования
«Акронис» – Руководитель проекта по
тестированию
«Текора», «НТЦ ИРМ» –
руководитель отделов тестирования
А также аналитик, руководитель проектов,
разработчик, тестировщик и внедренец в
компаниях «Текора», «Парагон», «Аурига»,
«ИСЭН»
http://natalyarukol.ru
http://nrukol.moikrug.ru
http://software-testing.ru
Skype: natalya.rukol
mailto: natalya@quality-lab.ru
Зачем школа
тест-менеджеров вам?
 Порезать слона
 Получить поддержку
 Приумножить печали
 Вымотивироваться
 Подсматривать
Зачем школа
тест-менеджеров мне?
 Посеять зерно истины
 Исполнить свой
гражданский долг
 Развиваться вместе с
вами
Формат проведения школы
 Записи на форуме
 Консультации в GoToWebinar
 Непрерывно поддерживаем
общение в Skype-чате и на
форуме
 Делаем домашние задания
 Делимся результатами
 Минимум теории
 Максимум практики
Правила школы
 Правило пустой чаши
 Домашние работы –
обязательно
 Гарант пользы от обучения
 Условие получения
сертификата
 Обращаться за помощью
можно и нужно
 Особенности онлайнобщения
 Общаемся на «ты»?
Кто такой тест-менеджер?
Тест-менеджер –
человек, ответственный
за достижение целей,
поставленных перед
тестированием
Задачи тест-менеджера
 Выявить цели
 Определить стратегию
достижения
 Организовать работу
команды
 Подобрать
 Делегировать задачи
 Мотивировать
 Оценивать результаты
 Улучшать ключевые
показатели
Результат зависит от достижений по ВСЕМ задачам!
План ШТМ
1.
2.
3.
4.
5.
6.
7.
8.
Определяем подходящий
процесс тестирования
Планируем тестирование
Тест-анализ и тест-дизайн
Формирование команды
Мотивация и постановка
задач
Автоматизация
тестирования
Метрики качества и оценка
результатов
Подводим итоги
Часть 1. Процесс тестирования
Что такое процесс?
 Сначала заказ, потом оплата
 Сначала оплата, потом чек
 Предложить колу!
 Продаёт продавец, покупает
покупатель, готовит повар
 В роял де люксе всегда ровно
2 дольки огурчика!
 И обязательно: «Спасибо, что
без сдачи!»
Что такое процесс?
Цель
Условия
(Внешние
факторы)
Что такое процесс тестирования?
Цели
Условия
Действия
• Тестовое
покрытие
• Оценка
(измерение)
качества
• Экономия
затрат (на
разработке
и/или
поддержке)
• Сокращение
сроков
разработки
• И т.д.
• Команда
• Методология
разработки
• Проектные
сроки
• Особенности
продукта
• Рынок
• Этап и
длительность
• Критичность
ПО
• И т.д.
• Тест-анализ
• Автоматизация
тестирования
• Роли
• Стандарты
• Метрики
• Последовательности
тестирования
• Инструменты
• Процедуры
• И т.д.
Цели первичны! Действия предназначены для достижения целей!
Условия, влияющие на
тестирование
 Проект
 Продукт
 Люди
 Рынок
 Компания,
руководство
Проект
Тестирование
 Проектный треугольник
 Проектный план
 Стадия, этап
 Длительность
 Роли в проекте
 Методология разработки
Модели разработки
Formal
Waterfall
Agile
• Философия, а не
методология
• «Неважно КАК,
главное – ЧТО в
результате»
• Короткие итерации,
быстрая обратная связь
• Доски, стэндапмитинги и т.д. – как
проявления философии,
а не как инструмент!
• Порядок, стандарты,
формализация
• Важно, ЧТО, но ещё
важнее – КАК
• Может быть как
водопадная (каскадная,
waterfall), так и
итеративная разработка
• Чёткое деление ролей,
ответственностей
• Сначала мы полностью
опишем требования
• Потом мы создадим
архитектуру
• Потом мы полностью
разработаем продукт
• А потом придут
тестировщики и скажут,
что ничего не работает
Модели разработки
Formal
Agile
Тестировщики
Waterfall
Продукт
Тестирование
 Тиражное или заказное ПО?
 Стратегия развития и




политика компании
Предыдущие релизы
Критичность ошибок
Положение на рынке
Конкурентные продукты
Команда
Биг Босс
Тестирование
Хочет, чтобы ошибки
находились
максимально быстро
и были локализованы
для простоты
исправления
Хочет, чтобы затраты на
тестирование были
минимальными
Хочет, чтобы сроки
сдерживались, работы
выполнялись быстро
Разработчик
Тестировщик
Хочет, чтобы
продукт успешно
решал его задачи
(был хорошего
качества)
Хочет, чтобы продукт
стоил недорого и был
сделан в срок
Руководитель
проекта
Заказчик
Пользователь
Команда
Тестирование
Отделы
Мы – им:
Они – нам:
Разработчики
•Дефекты:
-Чётко
-Понятно
-Вовремя
-Без критики
•Знания о
продукте
«изнутри»
РМ
•Статус продукта
•Планы
•Планы
•Приоритеты
Техподдержка
•Информация о
продукте
•Жалобы
пользователей
Аналитики
•Пример главного •Требования
пользователя
•Приоритеты
Руководство
•Результат
•Цифры
•Бюджет
•ХОЧУ так!
•НЕ ХОЧУ так!
•ХОЧУ НЕ ТАК!
Проектируем процесс
 Для процесса или для





результата?
Налаженный или хаотичный?
Включённый или
отдалённый?
Помогает или мешает?
Team-driven или менеджерdriven?
Одинаково понятный или у
каждого свой?
Алгоритм проектирования
 Узнать, что нужно?
 Узнать, что есть сейчас?
 Определить, как достичь
изменений?
 Внедрить изменения и
оценить результат
А
В
Зачем нужно тестирование?
 Для улучшения качества продукта
 Поставка качественного (работоспособного,
соответствующего требованиям, ожиданиям) ПО
Заказчику
 Для обеспечения соответствия продукта и его
качества реальным нуждам заказчика.
 Чтобы конечные пользователи могли работать с
продуктом
 Чтобы понимать, насколько продукт соответствует
предъявляемым к нему требованиям
 Чтобы минимизировать кол-во найденных
дефектов заказчиком в поставленном продукте
 В узком смысле – предоставить информацию о
несоответствиях программы требованиям, в
широком – повысить качество продукта.
 Собрать информацию о продукте (и позитивную и
негативную), которая будет важна для «заказчика
тестирования»
На что мы можем влиять?
Тестовое покрытие
 Насколько детально должны
быть покрыты
 Код
 Требования
 Пользовательские сценарии
 Окружения
 И т.д.
 Как оценивать покрытие?
 Как часто должно
осуществляться полное
тестирование?
Скорость тестирования
 Как быстро должен быть
результат тестов?
 Как быстро должны
перепроверяться дефекты?
 Скорость нахождения
критичных дефектов?
Стоимость тестирования
 Ограничен ли размер
команды?
 Можем ли мы нанимать
высокооплачиваемых
специалистов или нет?
 Производится ли
бюджетирование
тестирования?
Планируемость тестирования
 Насколько точно мы должны
определять даты выполнения
задач?
 Насколько важно сдерживать
сроки?
 Важна ли точная оценка
трудозатрат?
 Насколько быстро нам нужно
предоставлять планы?
Качество отчётности
 Требуется ли отчётность
заказчику, руководству?
 Какие решения принимаются
по результатам отчётности о
тестировании?
 В каком формате необходима
отчётность?
Гибкость тестирования
 Насколько часты изменения в
сроках?
 Меняются ли требования к
продукту?
 Насколько формален общий
процесс разработки?
Алгоритм проектирования
 Узнать, что нужно?
 Узнать, что есть сейчас?
 Определить, как достичь
изменений?
 Внедрить изменения и
оценить результат
А
?
В
Достижение целей
Цель (что нужно)
Процесс (как достигать)
Высокое тестовое покрытие • Использование формальных подходов
• Тест-анализ и риск-анализ
• Измерение качества покрытия
Точность планирования
• Сбор метрик
• Использование TMS
Гибкость тестирования
• Исследовательское тестирование
• Наборы тестов на все случаи жизни
Стоимость и/или сроки
тестирования
• Тест-анализ для оптимизации покрытия
• Автоматизация тестов
Скорость тестирования
• Приоритезация тестов
• Автоматизация тестов
• Оптимизация тестовых наборов
…
• …
Как мы влияем на результат?
 Выбираем исследовательское








или скриптовое тестирование
Проектируем тесты
Автоматизируем тесты
Пишем тест-планы и тестстратегии
Налаживаем баг-трекинг
Собираем метрики качества
Проводим риск-анализ
Внедряем инструменты
…
Это инструменты!
Домашняя работа
 Определить цели
тестирования
 Исходя из условий
 Пообщавшись с коллегами
 Оценить измеримые
критерии достижения целей
 Набросать способ достижения
Что дальше?
 Skype – по желанию
(оперативные вопросы)
 Форум – по желанию
(долгосрочные обсуждения)
 Выслать домашнее задание до
следующей консультации