Андон Ф.И., Коваль Г.И., Коротун Т.М., Лаврищева Е.М., Суслов В.Ю. Основы инженерии качества программных систем

Подождите немного. Документ загружается.

334 Глава 7

7.4.3. Измерение результатов тестирования

Количественное измерение результатов тестирования основывается на при-

менении метрик оценивания текущего состояния объектов тестирования (метрики

продукта) и процесса тестирования (оценка выполненных тестов).

К основным метрикам оценивания продукта можно отнести метрики трех

категорий, представленных ниже.

Метрики подсчета дефектов, указанные в таблице 7.11.

Таблица 7.11. Метрики подсчета дефектов

Метрика Обозначение Описание

Количество

дефектов

Дфакт Сумма всех дефектов, обнаруженных при тестирова-

нии за выбранный промежуток времени. Вычисляется

по открытым и закрытым отчетам о проблемах.

Плотность

дефектов

Пл_Дфакт Вычисляется в виде отношения количества обнару-

женных дефектов к размеру ПО (KSLOC или FP).

Пл_Дфакт = (Дфакт/Размер)

Метрики тенденций дефектов (профили дефектов), представленные в таб-

лице 7.12. Эти метрики предназначены для определения тенденций в появлении

дефектов в ПС, а также динамики устранения дефектов. Профили дефектов могут

вычисляться по любой классификационной категории: приоритетам устранения,

типам, серьезности.

Таблица 7.12. Метрики профилей дефектов

Метрика Обозначение Описание

Профиль от-

крытых де-

фектов

ПрДоткр

Отношение не устраненных (открытых) дефектов к

общему количеству обнаруженных дефектов

ПрДоткр = Доткр/Дфакт

Профиль за-

крытых де-

фектов

ПрДзакр Отношение устраненных (закрытых) дефектов к об-

щему количеству обнаруженных дефектов

ПрДзакр = Дзакр/Дфакт

Профиль

серьезности

ПрСер Отношение количества серьезных дефектов к общему

количеству обнаруженных дефектов

ПрСер = Дсер./Дфакт

Средний воз-

раст откры-

тых дефектов

ВОЗРоткр Отношение временных интервалов (в днях) открытых

дефектов к их количеству

ВОЗРоткр = Дней откр/Доткр,

где Дней откр - общее количество дней между датой

обнаружения дефектов и датой вычисления метрики.

Средний воз-

раст закры-

тых дефектов

ВОЗРзакр Отношение временных интервалов закрытых дефектов

к их количеству

ВОЗРзакр = Дней закр/Дзакр

где Дней закр – общее количество дней от открытия до

закрытия дефектов, Дзакр – количество закрытых де-

фектов.

Метрики надежности, представленные в таблице 7.13. Эти метрики вычис-

ляются по данным об отказах и требуют помимо подсчета отказов (дефектов) изме-

рения интервалов времени между отказами.

Глава 7 335

Таблица 7.13. Метрики надежности

Метрика Обозначение Описание

Интенсивность

отказов (Failure

Rate)

FR Количество отказов в единицу времени (например,

в час)

FR= Дфакт/T

где Дфакт – количество обнаруженных отказов

(дефектов), T –период наблюдения, выраженный в

выбранных единицах времени (например, в часах).

Среднее время

между отказами

(Mean Time

Beetween Failure)

MTBF Отношение суммы интервалов времени между по-

следовательными отказами к количеству обнару-

женных отказов

MTBF = Тс/ Дфакт

где Тс – сумма интервалов времени между обнару-

женными отказами.

Метрики процесса тестирования предназначены для определения состояния

выполнения тестирования (метрики покрытия) и динамики обнаружения дефектов.

Метрики покрытия - служат индикаторами полноты выполненного тести-

рования относительно выбранных критериев покрытия и вычисляются в виде от-

ношения количества выполненных тестов к требуемому количеству. Эти метрики

подразделяются на структурные и функциональные.

Метрики структурного покрытия вычисляются для выбранного структурно-

го критерия как отношение количества выполненных строк кода (ветвлений или ло-

гических условий) к общему их количеству в модуле.

Метрики функционального покрытия вычисляются как отношение количест-

ва выполненных функциональных тестов к количеству тестов, требуемых для удов-

летворения критерия, соответствующего выбранному методу функционального

тестирования.

Метрики динамики обнаружения дефектов служат для измерения процесса

тестирования во времени (таблица 7.14). Они также связаны с метриками покрытия.

Таблица 7.14. Метрики динамики процесса тестирования

Метрика Обозначе-

ние

Описание

Динамика выпол-

нения тестов

Твып Вычисляется как отношение количества выполнен-

ных тестов к запланированному количеству

Твып = (Тфакт/Тплан)

где Тфакт – количество выполненных тестов, Тплан –

количество запланированных тестов

Динамика обна-

ружения дефектов

Тдин Вычисляется как отношение количества тестов, кото-

рые выявили дефекты, и выполненных тестов

Тдин = Тдеф/Тфакт

Общее состояние

выполнения тес-

тирования

Тпроц Вычисляется как отношение количества успешно

пройденных тестов к запланированному количеству

Тпроц = Тпр/Тплан

Где Тпр – количество пройденных тестов

336 Глава 7

7.4.4. Критерии завершения тестирования

Как известно, наиболее распространенный критерий завершения тестирова-

ния – исчерпано время, выделенное на его проведение. Этот критерий никак не

учитывает выполненного объема тестирования и риска отказа ПС из-за оставшихся

дефектов. Более строгие критерии основываются на количественных измерениях.

В подходе, основанном на метриках покрытия, критерии формируются пу-

тем вычисления метрик функционального и структурного покрытия и отражают

объем выполненного тестирования. Структурные критерии применяются при ав-

тономном тестировании и основаны на методах структурного тестирования, а

функциональные - применяются на всех уровнях и основаны на методах функ-

ционального тестирования.

Согласно подходу, основанному на профиле дефектов, тестирование прекра-

щается, если нет новых и открытых дефектов серьезности 1, 2, 3. Этот критерий

применяется при функциональном и системном тестировании.

Согласно подходу, основанному на оценках интенсивности отказов, тести-

рование продолжается до тех пор, пока не будут достигнуты установленные в тре-

бованиях значения метрик надежности (интенсивность отказов и/или среднее время

работы без отказа). Критерий применяется на уровне системного тестирования и

предполагает статистическое тестирование (по операционному профилю [17]).

Поскольку ни один из критериев не гарантирует полноты тестирования, при

принятии решения о завершении тестирования необходимо использовать ком-

плексные критерии. Например, в работе [52] сформулирован комплексный крите-

рий завершения тестирования для информационных систем:

• все запланированные функциональные тесты прошли (Тплан = 100%);

• структурное тестирование было выполнено набором тестов, который

обеспечил 100% покрытие строк, 80% покрытие логических условий и 100% по-

крытие вызовов процедур;

• нет открытых дефектов серьезности 1, 2 и 3 и плотность дефектов ниже,

чем 0.5 дефектов на KSLOC;

• интенсивность обнаружения отказов не выше 40 новых отказов на 1000

часов тестирования;

• продолжительность непрерывного функционирования ПС без отказа дос-

тигает 100 часов.

В условиях ограниченных ресурсов на тестирование критерий завершения

может быть сформулирован исходя из оценок риска отказа ПС. Он учитывает, ка-

кие идентифицированные риски устранены путем тестирования, и какова серьез-

ность оставшихся дефектов. Согласно данному критерию, тестирование может

быть завершено, если все известные дефекты серьезности 1, 2 и 3 закрыты, новые -

не обнаружены, а риск отказа из-за оставшихся дефектов настолько мал, что даль-

нейшее тестирование экономически не выгодно.

7.5. Описание процесса тестирования

7.5.1. Модель процесса тестирования

Как уже отмечалось, в соответствии с процессным подходом к разработке

ПС все действия, связанные с тестированием, начиная с планирования до оценки

результатов, должны быть объединены в четко определенный и документирован-

Глава 7 337

ный процесс тестирования.

Появление отдельного описания процесса тестирования вызвано, прежде

всего, тем, что в стандарте ISO/IEC 12207:1995 задачи тестирования «размыты»

по многим процессам ЖЦ, что не позволяет четко сформулировать обязанности

группы тестирования на всех стадиях разработки ПС и определить трудоемкость

подготовки и проведения тестирования на всех уровнях. Выделение задач тести-

рования, решаемых в рамках разных процессов ЖЦ, в единый процесс позволяет

заблаговременно создать среду и определить ресурсы тестирования, установить

объемы и сроки тестирования в рамках плана проекта ПС.

Общая модель процесса тестирования представлена на рисунке 7.5.

Процесс

тестирования

Задачи

Шаги

процесса

Процессы

разработки

Элементы

процессов

ЖЦ

состоит из

распределены

поддерживают

включают

Ресурсы Исполнители

Методы

применяют

выполняются

используют

создают

потребляют

Продолжи-

тельность

Стоимость

включают

Методики

РезультатыВходы

Инструменты

поддерживают

Риск

учитывают

используют

Рис. 7.5. Модель процесса тестирования

Цели тестирования выбираются и упорядочиваются на основе анализа рис-

ков (в областях риска отказа ПС и срыва проекта ПС), что крайне важно при разра-

ботке ПС в условиях ограниченных ресурсов. Описание процесса представлено в

виде последовательности 10 шагов процесса, но в зависимости от принятой модели

ЖЦ эти шаги могут перекрываться, а отдельные задачи выполняться параллельно.

Шаги процесса охватывают три типичные стадии любого процесса: планиро-

вание, выполнение и анализ результатов (для каждого уровня тестирования). Вы-

полняются циклически на всех уровнях тестирования и связаны с процессами раз-

работки.

Каждый шаг процесса состоит из набора решаемых задач, имеет критерий

начала и входные данные (входы). Результатом выполнения каждого шага (или за-

дачи) является набор рабочих продуктов процесса тестирования. Описание струк-

туры процесса, входы и результаты выполнения его задач представлены в таблице

7.15 и последующих пунктах раздела, а взаимосвязь рабочих продуктов тестирова-

ния – на рисунке 7.6.

Таблица 7.15. Структура процесса тестирования

Шаг процесса Задача Критерий начала и входные

данные

Результат

1. Создание группы

тестирования

Цель: определить со-

став группы и распреде-

лить обязанности по

выполнению задач тес-

тирования

1.1. Определение сферы деятель-

ности группы тестирования

1.2. Определение участников про-

цесса тестирования

1.3. Распределение обязанностей и

формирование плана работы

группы тестирования

Критерий начала: наличие пла-

на работ по проекту

Входы: план и стратегия выпус-

ка версий ПС, план работ по

проекту, данные о квалификации

и опыте членов группы тестиро-

вания

1. Утвержденные сфера деятельно-

сти и распределение ответст-

венности за тестирование

2. План работы группы

Критерий завершения:

Сформированный и утвержденный

план работы группы тестирования

2. Анализ риска

Цель: своевременно

выявлять проблемы,

связанные с выполнени-

ем процесса тестирова-

ния, а также функции и

компоненты ПС, кото-

рые должны быть про-

тестированы более тща-

тельно

2.1. Идентификация риска

2.2. Приоритезация риска

2.3. Распределение ресурсов

2.4. Создание базы данных по

оценкам риска

Критерий начала: наличие со-

гласованных и упорядоченных

по критичности требований к

ПС, разработанный проект архи-

тектуры ПС

Входы: возможные факторы

риска проекта, план/стратегия

выпуска версий, требования к

системе, возможные типы отка-

зов

1. Список возможных рисков

2. Результаты анализа рисков, ви-

ды отказов, упорядоченные по

критичности

3. Основанный на риске план рас-

пределения ресурсов на тести-

рование

4. База данных по оценкам риска

3. Определение целей

тестирования

Цель: выработать об-

щую стратегию тести-

рования исходя из ана-

лиза риска.

3.1. Идентификация целей тести-

рования

3.2. Определение критериев про-

хода тестов

3.3. Упорядочение целей тестиро-

вания

Критерий начала: наличие со-

гласованных и упорядоченных

по критичности требований к

ПС.

Входы: спецификация требова-

ний, результаты анализа рисков,

прототип (при наличии) или

первая версия ПС.

1. Перечень целей тестирования.

2. Перечень объективных критери-

ев прохода тестов.

3. Перечень целей тестирования,

упорядоченный по приорите-

там.

Шаг процесса Задача Критерий начала и входные

данные

Результат

4. Разработка плана

тестирования

Цель: установить объе-

мы, ресурсы, сроки и

исполнителей для тес-

тирования объектов на

каждом уровне тестиро-

вания и отразить их в

плане тестирования.

4.1. Разработка плана приемочных

испытаний системы

4.2. Разработка плана тестирова-

ния системы

4.3. Разработка плана тестирова-

ния ПО

4.4. Разработка плана интеграци-

онного тестирования

4.5. Разработка плана автономного

тестирования

4.6. Разработка плана регрессион-

ного тестирования

Критерий начала: наличие

плана работ по проекту, готов-

ность соответствующих рабочих

продуктов процессов разработ-

ки, являющихся исходными для

построения конкретного плана

тестирования.

Входы. Определяются для каж-

дого уровня

Планы для каждого уровня тести-

рования

5. Разработка тестов

Цель: разработать де-

тальные планы тестиро-

вания и подготовить

тестовые данные.

5.1. Определение подходов к раз-

работке тестов

5.2. Проектирование и разработка

тестов

5.3. Подготовка тестовых данных

5.4. Подготовка журналов по тес-

тированию

5.5. Проверка тестовых докумен-

тов

Критерий начала: разработан-

ные планы тестирования.

Входы: планы тестирования

1. Выбранные методы разработки

тестов по уровням тестирова-

ния

2. Проекты тестов, описания набо-

ров тестов, процедуры, описа-

ние сценариев тестирования

3. Реальные наборы данных в фай-

лах, в БД или вводимые вруч-

ную

4. Шаблоны журналов для каждого

уровня тестирования

5. Список исправлений, изменений

и дополнений, необходимых

для уточнения тестов

Шаг процесса

Задача

Критерий начала и входные

данные

Результат

6. Автономное и инте-

грационное тестиро-

вание

Цель: выполнить тести-

рование, зафиксировать

результаты

6.1. Автономное тестирование

6.2. Повторное тестирование после

устранения дефектов

6.3. Анализ результатов автоном-

ного тестирования

6.4. Интеграционное тестирование

6.5. Повторное тестирование после

устранения дефектов

6.6. Анализ результатов интегра-

ционного тестирования

Критерий начала: наличие объ-

екта тестирования

Входы: планы, тестовые доку-

менты и тестовые данные.

1. Заполненные журналы

2. Отчет о выполнении тестирова-

ния

7. Тестирование ПО

Цель: выполнить функ-

циональное тестирова-

ние выпускаемой версии

ПО согласно планам и

зафиксировать резуль-

таты

7.1. Утверждение среды тестиро-

вания

7.2. Утверждение ресурсов тести-

рования

7.3. Тестирование ПО

7.4. Повторное тестирование после

устранения дефектов

7.5. Анализ результатов тестиро-

вания

7.6. Разработка комплекта регрес-

сионных тестов

7.7. Автоматизация повторного

тестирования

Критерий начала: передача на

тестирование базовой версии

ПО.

Входы: план тестирования ПО,

проекты тестов, описания набо-

ров тестов, процедуры и сцена-

рии тестирования, журналы тес-

тирования, базовая версия ПО,

документация на ПО.

1. Заполненный журнал, отчеты о

проблемах, промежуточные от-

четы

2. Отчет о выполнении цикла тес-

тирования

3. Комплект регрессионных тестов

4. Тестовые процедуры функцио-

нального тестирования

Критерий завершения шага:

Достижение установленного кри-

терия завершения тестирования

8. Системное тестиро-

вание

Цель: выполнить тести-

рование нефункцио-

нальных характеристик

8.1. Утверждение среды тестиро-

вания

8.2. Утверждение ресурсов тести-

рования

8.3. Системное тестирование

Критерий начала: передача на

тестирование базовой версии

ПО.

Входы: план системного тести-

рования, проекты и описания

1. Утвержденный протокол среды

тестирования

2. Утвержденный протокол ресур-

сов тестирования

3. Заполненный журнал, отчеты о

Шаг процесса

Задача

Критерий начала и входные

данные

Результат

выпускаемой версии

системы и зафиксиро-

вать результаты

8.4. Повторное тестирование после

устранения дефектов

8.5. Анализ результатов тестиро-

вания

8.6. Тестирование инсталляции

8.7. Автоматизация тестирования

наборов тестов, сценарии и про-

цедуры тестирования, архитек-

тура системы, внешние интер-

фейсы системы, базовая версия

ПО, эксплуатационная докумен-

тация.

проблемах, промежуточные от-

четы

4. Отчеты о проблемах, промежу-

точные отчеты

5. Промежуточные отчеты, отчет о

выполнении цикла тестирова-

ния.

6. Отчеты о проблемах

7. Тестовые скрипты для систем-

ного тестирования

9. Анализ результатов

тестирования

Цель: определить сте-

пень готовности протес-

тированной версии ПС

для предъявления на

«формальное тестиро-

вание» (испытания) или

выпуска

9.1. Анализ данных о результатах

тестирования

9.2. Подготовка решений и реко-

мендаций по результатам тес-

тирования

9.3. Подготовка итогового отчета о

результатах тестирования

9.4. Проверка решений и отчета

Критерий начала: Завершение

всех видов тестирования

Входы: журналы функциональ-

ного и системного тестирования,

отчеты о проблемах, недельные

отчеты о результатах функцио-

нального и системного тестиро-

вания, спецификация функцио-

нальных и нефункциональных

требований к ПС.

1. Собранные и классифицирован-

ные данные

2. Решения и рекомендации

3. Итоговый отчет о результатах

тестирования

4. Результаты проверки

10. Регрессионное тес-

тирование

Цель: проверить, что

все расширения, изме-

нения и настройки не

затрагивают функцио-

нальные возможности

ПС, и что изменения

сделаны правильно.

10.1. Выполнение регрессионного

тестирования

10.2. Повторное тестирование по-

сле исправления дефектов

10.3. Анализ результатов регрес-

сионного тестирования

10.4. Подготовка итогового отчета

о повторном тестировании

Критерий начала: Регрессион-

ное тестирование выполняется

после внесения любых измене-

ний и расширений в следующей

версии ПС

1. Заполненный журнал регресси-

онного тестирования

2. Отчеты о проблемах

3. Промежуточные отчеты

4. Итоговый отчет

342 Глава 7

Выполнение тестов

Тестовые

данные

Спецификация

требований (система,

ПО, компоненты...)

Документация

пользователя...

Объект

тестирования

(модуль, компонент,

система...)

Планы

тестирования

(автономное,

интеграционное,

ПО, системное)

Проекты тестов

Описания

наборов

тестов

Процедуры

тестирования

Сценарии

тестирования

Паспорт объекта

тестирования

Журналы

тестирования

Отчеты о

проблемах

Промежуточные отчеты

о результатах тестирования

Итоговый отчет о результатах

тестирования

Протокол

распределения

ответственности

за тестирование

План работы

группы

тестирования

План

распределения

ресурсов на

тестирование

Перечень целей

тестирования

Протокол утверждения

среды тестирования

Протокол

утверждения

ресурсов

тестирования

Внешние

документы для

процесса

тестирования

Документы

процесса

тестирования

Внешние

документы для

процесса

тестирования

Протокол испытаний

ПС

Рис.7.6. Взаимосвязь рабочих продуктов процесса тестирования

Глава 7 343

В таблице 7.16 представлено примерное распределение обязанностей в рам-

ках шагов процесса.

Таблица 7.16. Распределение обязанностей по выполнению процесса

тестирования

Шаг процесса тестирования Исполнитель

Создание группы тестирования Руководитель проекта (менеджер)

Анализ риска Руководитель проекта (менеджер), руководитель

группы тестирования, аналитики проекта, группа

качества

Определение целей тестирования Руководитель группы тестирования, тестировщики,

группа качества

Разработка планов тестирования Тестировщики

Разработка тестов Разработчики, тестировщики

Автономное и интеграционное

тестирование

Разработчики, тестировщики

Тестирование ПО Тестировщики

Системное тестирование Тестировщики

Анализ результатов тестирования Руководитель группы тестирования, тестировщики,

группа качества

Регрессионное тестирование Тестировщики

Ниже кратко рассмотрены основные задачи, решаемые в рамках процесса

тестирования

7.5.2. Создание группы тестирования

Создание группы тестирования - первый, но очень важный шаг в управлении

процессом тестирования, на котором определяется ее уровень и подчиненность,

порядок взаимодействия с разработчиками и заказчиками. Решаемые в этом шаге

задачи и вопросы кратко описаны ниже петитом.

Задача 1.1. Определение сферы деятельности группы тестирования.

Уровень группы:

• организация. Участвует в тестировании всех проектов организации и подчиняет-

ся руководителю организации;

• отдел (подразделение). Участвует в тестировании проектов, разрабатываемых

подразделением, и подчиняется руководителю отдела;

• проект. Участвует в тестировании определенного проекта - внутренняя группа,

входящая в группу разработки и подчиняющаяся руководителю (менеджеру) проекта.

Уровни тестирования: автономное, интеграционное, тестирование ПО, системное

тестирование. Ответственности на всех уровнях.

Потребность в инструментах тестирования. Их выбор, приобретение и освоение, или

разработка собственных инструментов.

Задача 1.2. Определение участников процесса тестирования.

Определить круг лиц, которые будут принимать участие в процессе тестирования.

Состав и количество участников процесса тестирования определяется имеющимися ресур-

сами (трудовыми и материальными), объемом, сложностью и критичностью проекта.

В процессе тестирования прямо или косвенно участвуют:

- представители заказчика и пользователи;