Андон Ф.И., Коваль Г.И., Коротун Т.М., Лаврищева Е.М., Суслов В.Ю. Основы инженерии качества программных систем

Подождите немного. Документ загружается.

224 Глава 5

Предложения по разработке международных стандартов или по приданию

национальным стандартам статуса международных стандартов поступают от на-

циональных органов стандартизации. Материал стандартизации проходит несколь-

ко стадий рассмотрения и уточнения и утверждается в качестве стандарта только в

том случае, если его одобрили не менее 75% стран-членов ISO, принимающих уча-

стие в голосовании по стандарту.

Основные действующие стандарты, непосредственно касающиеся инженерии

качества программных систем, представлены в приложении 3.

Обозначение рабочих документов ISO отражает текущее состояние соответ-

ствующих проектов стандартов (таблица 5.8).

Таблица 5.8. Стадии разработки стандартов и обозначение документов

Тип документа Ста

дия

Аббре-

виатура

Наименование

Описание

1 AWI Approved Work Item Утвержденный рабочий материал

для стандартизации

2 WD Working Draft Предварительный проект для обсуж-

дения рабочей группой

CD Committee Draft 3

CD TR

или TS

Committee Draft Technical Re-

port/ Specification

Завершенный проект для голосова-

ния и подготовки технических заме-

чаний национальными органами

стандартизации

CDV Committee Draft for Vote (IEC)

DIS Draft International Standard

FCD Final Committee draft (JTC1)

DTR

или DTS

Draft Technical Report/ Specifi-

cation

Окончательный проект для голосо-

вания и редакционных правок на-

циональными органами стандарти-

зации

5 FDIS Final Draft International Stan-

dard

Подготовленный к публикации

текст, предназначенный для оконча-

тельного утверждения

ISO International Standard 6

ISO TR

или TS

Technical Report or Technical

Specification

Опубликованный документ

При необходимости ISO пересматривает принятые международные стандар-

ты и готовит их новые редакции. Так, со времени выхода в 1991 году стандарта

ISO/IEC 9126 по качеству программного обеспечения, было подготовлено ряд его

новых редакций (например, ISO/IEC TR 9126, Software Engineering – Product quality

– Part 1 – Part 4, стандарт в четырех частях в редакции 2001-2004 года).

Наряду с подготовкой новых редакций отдельных стандартов, производится

совместная реорганизация проектов стандартов. Так, принято решение о реоргани-

зации проектов ISO 9126 и ISO 14598 в единую серию стандартов SQuaRE (Soft-

ware Product Quality Requirements and Evaluation, Требования к качеству программ-

ного продукта и оценивание).

Глава 5 225

5.2.6. Архитектура стандартов SQuaRE

Одна из основных задач серии стандартов SQuaRE (и основное отличие от

текущей версии стандартов ISO/IEC TR 9126) состоит в гармонизации их положе-

ний со стандартом ISO/IEC 15939, регламентирующим процесс измерения ПС [41],

а также используемой терминологии с общепринятой терминологией в области

метрологии, зафиксированной в международном словаре VIM [42].

Структура новой серии стандартов SQuaRE, предложенная рабочей группой

WG6, включает 14 документов, сгруппированных в 5 разделов (таблица 5.9) [43].

Таблица 5.9. Стандарты серии SQuaRE

Стандарты Описание

Раздел «Управление качеством» (ISO 2500n)

Руководство по

SQuaRE

Структура SQuaRE, используемая терминология, обзор докумен-

та, круг пользователей серии, эталонные модели и др.

Планирование и

управление

Требования и руководства по планированию и поддержке управ-

ления оцениванием программного продукта

Раздел «Модель качества» (ISO 2501n)

Модель качества

и руководство

Модель внутреннего, внешнего и эксплуатационного качества

продукта, характеристики и подхарактеристики внутреннего,

внешнего и эксплуатационного качества

Раздел «Измерение качества» (ISO 2502n)

Эталонная модель

измерения и ру-

ководство по

применению

Математические определения и практические руководства по вы-

бору и применению метрик для измерения качества продукта на

соответствующем уровне (внутреннем, внешнем, эксплуатацион-

ном)

Примитивы изме-

рения

Множество базовых и производных метрик, используемых для

конструирования метрик внутреннего, внешнего и эксплуатаци-

онного качества

Измерение внут-

реннего качества

Множество внутренних метрик продукта, используемых для ко-

личественного измерения внутреннего качества в терминах харак-

теристик и подхарактеристик качества

Измерение внеш-

него качества

Множество внешних метрик продукта, используемых для количе-

ственного измерения внешнего качества в терминах характери-

стик и подхарактеристик качества

Измерение каче-

ства при исполь-

зовании

Множество метрик продукта, используемых для количественного

измерения эксплуатационного качества. Руководства по использо-

ванию мер эксплуатационного качества

Раздел «Требования к качеству» (ISO 2503n)

Требования к ка-

честву и руково-

дство по опреде-

лению

Руководство по выявлению требований к качеству продукта и

спецификации требований к качеству. Применяется на стадии оп-

ределения требований к продукту или при формировании вход-

ных данных для процесса оценивания продукта

226 Глава 5

Стандарты Описание

Раздел «Оценивание качества» (ISO 2504n)

Введение в оце-

нивание качества

и общее руково-

дство

Основные требования к спецификации и оцениванию качества

программного продукта, основные понятия и концепции оценива-

ния, общая схема оценивания качества и требования к методам

измерения и оценивания программного продукта

Процесс для раз-

работчиков

Требования и практические рекомендации по оцениванию про-

граммного обеспечения параллельно с разработкой

Процесс для по-

требителей

Требования, практические рекомендации и руководства по систе-

матическим измерениям и оцениванию качества готового про-

граммного продукта при его приобретении или при модификации

существующего продукта

Процесс для

оценщиков

Требования и практические рекомендации по оцениванию про-

граммного продукта в ситуации, когда результаты оценивания

необходимы нескольким сторонам-участникам

Документация

модуля оценива-

ния

Структура и содержание документации, предназначенной для

описания Модуля оценивания продукта (см. главу 12)

Группу стандартов ISO/IEC TR 9126 (части 1 - 4) в серии SQuaRE заменяют

пять стандартов из раздела «измерение качества» (рисунок 5.14) [44].

Измерение внутреннего

качества (

ISO 25022

)

Эталонная модель и руководство

по измерению (

ISO 25020

)

Измерение внешнего

качества (

ISO 25023

)

Измерение качества при

использовании (

ISO 25024

)

Примитивы измерения

(

ISO 25021

)

Рис. 5.14. Структура раздела серии ISO 2502n (предложение WG 6)

Понятийная база этих стандартов расширена новым элементом - «примитив

измерений» [45]. Рабочая группа WG6 предлагает набор примитивов измерений

(базовых и производных метрик), которые могут использоваться в ходе жизненного

цикла ПС для построения метрик внутреннего, внешнего и эксплуатационного ка-

чества. Это, например, такие базовые метрики как «время», «число функций»,

«число ошибок», «количество данных», «число операций», «число тестовых ситуа-

ций». Однако, не очевидно, что новый элемент «приживется» в инженерии качест-

ва

. Серия стандартов SQuaRE продолжает развиваться.

О текущем состоянии этого перспективного проекта можно узнать из доку-

ментов рабочей группы WG6 в Интернет

Анализ терминологии в VIM и ISO/IEC 15939 и концепций измерений, проделан-

ный А.Абраном и его соавторами в [43], убеждает в обратном.

Например, используя в качестве поисковой строки следующую:

”ISO/IEC/JTC1/SC7 WG6” “SQuaRE project”.

Глава 5 227

5.3. Инструменты анализа качества

5.3.1. Применение графических инструментов в инженерии качества

Для эффективного выполнения своих функций, группа SQA должна оценить

собственные потребности в инструментах, поддерживающих процессы измерения,

обеспечения гарантии качества и управления качеством, а также верификации и

валидации.

В этом обзоре кратко рассматриваются графические инструменты, появив-

шиеся несколько десятилетий назад и испытанные временем. Многие из них имеют

японское происхождение, поэтому в литературе по качеству и управлению процес-

сами (а также в Интернет) их можно найти под общим заголовком «японские инст-

рументы» анализа качества [46]. Кроме того, отдавая дань создателям, некоторые

инструменты называют их именами, например, карты У.Шухарта (контрольные

карты) или диаграмма К.Исикавы (причинно-следственная диаграмма). Инструмен-

ты раннего периода уходят корнями в базовую математическую статистику и ори-

ентированы на обработку числовых данных, а относительно новые – предназначе-

ны для визуализации логически взаимосвязанной нечисловой информации.

Достаточно полный обзор графических инструментов анализа данных содер-

жится в электронном учебнике фирмы StatSoft (на русском языке) [47], а также в

Интернет, например, на сайтах организаций SkyMark Corporation

(www.skymark.com/resources/tools), Clemson University (deming.ces.clemson.edu/pub/

tutorials/qctools/homepg.htm) и др. Далее перечислены лишь самые простые (базо-

вые) инструменты.

Расслоение данных. Простейший из инструментов - таблица расслоения

данных. Предназначена для классификации данных по нескольким критериям.

Пример таблицы расслоения – форма сбора данных о дефектах (рисунок 5.15).

Здесь все множество данных «расслаивается» исходя из двух критериев – «тип де-

фекта» и «дата обнаружения».

Количество дефектов на дату Тип дефекта

Дата 1 . . . Дата n

Сумма

Тип 1

. . .

Тип m

Сумма

Рис. 5.15. Пример таблицы расслоения

Для сопоставления данных по отдельным слоям удобно использовать диа-

граммы: круговые, точечные, столбиковые, ленточные и др.

Этот вид графических инструментов поддерживается средствами ведения

электронных таблиц (например, Excel). Для построения диаграмм используется

Мастер диаграмм.

Диаграмма выполнения. Диаграмма выполнения (Run Chart) или временной

график - удобный инструмент контроля хода выполнения процесса в масштабе

времени и выявления закономерностей в наступлении каких-либо контролируемых

событий (например, изменения производительности труда в зависимости от дня

недели или скорости передачи информации по каналам связи в зависимости от

228 Глава 5

времени суток). По оси х на графике – градация времени, а по оси y – градация со-

бытия (рисунок 5.16).

Событие Y

Время X

Рис. 5.16. Вид диаграммы выполнения

Диаграммы выполнения могут использоваться, также, для контроля устойчи-

вости процесса и обнаружения вариабельности, вызванной особыми причинами. В

этом случае для построения графика должно использоваться не менее 25 данных

результатов наблюдений. Если 8 и более точек на графике оказывается по одну

сторону центральной линии графика, параллельной оси х, это свидетельствует о

влиянии особой причины на процесс. Если график делает 6 последовательных

«скачков» в одном направлении, это указывает на тренд процесса под влиянием

особой причины. А если определенный фрагмент графика появляется 8 и более раз

– нужно попытаться избавиться от особой причины. Нужно отметить, однако, что

более мощным инструментом для контроля устойчивости процесса являются кон-

трольные карты.

Диаграмма рассеяния. Диаграмма рассеяния (Scatter Diagram) используется

для проверки гипотез о наличии определенной взаимосвязи между двумя измеряе-

мыми величинами (например, размером модуля и плотностью дефектов, размером

ПС и затратами и др.). По оси х указывается шкала измерения для одной величины

(независимой переменной), а по оси y – для другой, зависимой переменной (рису-

нок 5.17).

Рис. 5.17. Вид диаграммы рассеяния

Если при возрастании значений по оси x возрастают значения по оси y – су-

ществует положительная корреляция. Если при возрастании значения по оси x, зна-

чения по оси y убывают – отрицательная корреляция.

Чем теснее группируются значения вокруг воображаемой кривой зависимо-

сти величин, – тем строже эта зависимость между величинами.

Если представить себе кривую зависимости сложно, - возможно зависимость

отсутствует. Корреляция, однако, не всегда означает, что изменение одной величи-

Глава 5 229

ны влечет за собой изменение другой, поскольку может существовать и третья ве-

личина, влияющая на обе исследуемые. Все же построение диаграмм рассеяния по-

лезно для выяснения, связаны ли величины каким-либо образом.

Столбиковая диаграмма. На столбиковой диаграмме (Bar chart) последо-

вательность значений представляется в виде столбцов (одному наблюдению соот-

ветствует один столбец). Если выбрано несколько переменных, - строится состав-

ная диаграмма, где все переменные отображаются одновременно в виде групп

столбцов (одна группа для каждого наблюдения), что позволяет исследовать рас-

пределение данных по группам. Этот вид диаграмм удобен, например, для сравне-

ния двух серий данных - измеренных и ожидаемых (рисунок 5.18).

Число разработчиков

5 10 15

<1 1-2 2-3 3-4 4-5 >5

Опыт разработки (лет)

желательный

существующий

Рис.5.18. Пример столбиковой диаграммы

Два специальных типа столбиковых диаграмм - гистограммы и диаграммы

Парето.

Гистограмма. Гистограммы (Histogram) создаются путем группирования

результатов измерений по секциям и последующего подсчета количества «попада-

ний» измеренных значений в каждую секцию. Секции представляют собой непере-

секающиеся столбцы одинаковой ширины, в основании которых - равные отрезки

действительной прямой, покрывающие область возможных значений измеренных

величин (непрерывная шкала). Высота столбца пропорциональна числу попаданий

значений в секцию.

Гистограммы могут использоваться для характеристики наблюдаемых значе-

ний практически любых атрибутов продукта или процесса (например, размера мо-

дулей, времени устранения дефекта, времени между отказами, количества дефек-

тов, найденных при тестировании и др.).

Пусть, например, числа в таблице 5.10 – это данные 80 измерений количества

времени (в часах), ежедневно затрачиваемого группой сопровождения ПС после ее

сдачи в эксплуатацию, полученные менеджером за 16 недель наблюдений. Иссле-

дуется изменение количества часов потраченного времени по дням одной недели и

по неделям.

Гистограмма для данных о процессе сопровождения ПС представлена на ри-

сунке 5.19.

Высота столбца гистограммы отражает количество элементов наблюдений из

таблицы 5.10, которые могут быть отнесены к одной секции.

230 Глава 5

Таблица 5.10. Время, потраченное группой сопровождения ПС

Недели Пн Вт Ср Чт Пт Среднее

Диапазон (размах)

1 50,5 43,5 45,5 39,8 42,9 44,44 10,7

2 44,3 44,9 42,9 39,8 39,3 42,24 5,6

3 48,8 51,0 44,3 43,0 51,3 47,68 8,3

4 46,3 45,2 48,1 45,7 44,1 45,88 4,0

5 40,6 45,7 51,9 47,3 46,4 46,38 11,3

6 44,4 49,0 47,9 45,5 44,8 46,32 4,6

7 46,0 41,1 44,1 41,8 47,9 44,18 6,8

8 44,9 43,4 49,0 49,5 47,4 46,84 6,1

9 50,0 49,0 42,6 41,7 38,5 44,36 11,5

10 44,5 46,5 41,7 42,6 41,7 43,40 4,8

11 43,8 41,8 45,5 44,5 38,6 42,84 6,9

12 37,2 43,8 44,8 43,5 40,9 42,04 7,6

13 50,0 43,4 48,3 46,4 43,4 46,30 6,6

14 52,3 45,2 42,2 44,8 42,8 45,46 10,1

15 50,0 46,2 47,4 42,2 47,0 46,56 7,8

16 47,3 49,7 48,0 42,0 41,0 45,60 8,7

В среднем

45,03 7,59

14121086420

35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55

Количество часов сопровождения ПС

Количество дней (чило значений в серии)

Рис. 5.19. Пример гистограммы

Например, 1 раз на сопровождение было потрачено от 37 до 38 часов работы

персонала в день (значение 37,2), 2 раза – от 38 до 39 часов (значения 38,5 и 38,6) и

т.д. Больше всего раз встречались данные в секции 44-45 (12 раз).

Диаграмма Парето. Полезность применения диаграмм Парето (Pareto

Chart) в инженерии качества состоит в том, что они могут использоваться при ана-

лизе процессов для привлечения внимания разработчиков к тем факторам, которые

оказывают наибольшее общее влияние на разрабатываемую систему, и отсеивания

несущественных факторов, что позволяет вовремя выбрать правильное направле-

ние работы по улучшению процессов и продуктов. С помощью этих диаграмм

можно, например, найти и графически проиллюстрировать ответы на такие вопро-

сы, как «на предупреждении каких ошибок нужно сосредоточить усилия?» или

«какие действия в процессе вносят наибольший вклад в проблему?» и др.

Глава 5 231

Диаграмма Парето представляет собой множество столбцов одинаковой ши-

рины, упорядоченных по убыванию высоты и отображающих, в простейшем слу-

чае, счетчики частоты или количества наблюдаемых данных, сгруппированных по

определенному критерию (рисунок 5.20).

Синтаксические

ошибки

Неясные

требования

Ошибки

интерфейса

Не

реализованные

функции

Ошибки

выделения

памяти

4035302520151050

% от общего числа ошибок

Рис. 5.20. Пример диаграммы Парето

При проведении более сложных видов анализа диаграммы Парето могут

ранжировать факторы по убыванию оценок экономических последствий их влияния

(в стоимостном выражении).

Диаграммы Парето удобны, также, для сравнения состояний процессов или

продуктов до и после усовершенствований и определения эффективности выпол-

ненных действий по усовершенствованию. Однако, если процессы неустойчивы,

сравнение диаграмм Парето может привести к неправильным выводам, поскольку

демонстрируемые различия могут быть обусловлены неконтролируемыми вариа-

циями процессов. Это значит, что диаграммы Парето лучше применять для иссле-

дования устойчивых процессов.

Контрольные карты. Контрольные карты (Control Chart) используются для

анализа стабильности процессов. Все они имеют схожую структуру (рисунок 5.21).

CL+

3σ

CL+

3σ

Верхний контрольный

предел (UCL)

Нижний контрольный

предел (LCL)

Центральная линия (CL)

Рис. 5.21. Структура контрольной карты

Карта содержит центральную линию (CL, Central Line), которая представляет

среднее значение исследуемой характеристики процесса, и две линии контрольных

пределов – верхний контрольный предел (UCL, Upper Control Limit) и нижний кон-

трольный предел (LCL, Lower Control Limit), которые вычисляются по одной из

возможных мер вариабельности процесса, например, выборочным средним или

диапазонам (размахам) значений.

Карты для выборочных средних часто называют X-картами и строят для по-

лучения ответа на вопрос, «изменяется ли основная тенденция процесса в период

наблюдения?».

232 Глава 5

Карты для размахов выборки называют R-картами и строят для получения

ответа на вопрос, «не влияют ли на дисперсию наблюдаемых величин какие-либо

особые причины при выполнении процесса?».

X- и R-карты используются совместно для идентификации точек, в которых

процесс выходит из-под контроля. Данные измерений характеристик продукта или

процесса группируются в последовательные множества (подгруппы) и результаты

группирования используются для вычисления пределов, по которым проверяется

стабильность (контролируемость) процесса.

Традиционно (по Шухарту) контрольные пределы устанавливаются на уровне

±±

3σ (сигма), где σ - это оцененное стандартное отклонение статистики, нанесен-

ной на карту. У.Шухарт и его последователи обосновывали выбор пределов на

уровне именно

±±

3σ тем, что такой выбор позволяет не делать предположений о

виде распределения подразумеваемой естественной вариации процесса и, кроме

того, дает необходимую чувствительность к особым вариациям процесса, отсеивая

несущественные общие. Поскольку значения, наносимые на карту, представляют

статистические величины, они могут быть любой функцией измеримых свойств

продукта или процесса. Эти значения определяются путем измерения таких атри-

бутов, как размер группы разработчиков, продолжительность работы между кон-

трольными точками в ЖЦ или событиями, время, потраченное разработчиками на

решение задачи, производительность, текучка кадров, число модулей, имеющих

дефекты, число обнаруженных дефектов на 1000 модулей и т.д.

На рисунке 5.22 представлены примеры X- и R-карт, составленных по дан-

ным о процессе сопровождения ПС из таблицы 5.10.

Среднее число часов, потраченных на

сопровождение

494847464544434241

0 5 10 15

UCL=49,41

LCL=40,66

CL=45,03

X-карта

Размах

UCLR=16,04

CLR=7,59

R-карта

1614121086420

5 10 15

Рис. 5.22. Примеры X-карты и R-карты

Глава 5 233

Для расчета UCL и LCL используется специальная процедура, шаги которой

перечислены в таблице 5.11.

Таблица 5.11. Процедура построения контрольных карт X и R

Шаг Действия

1 Вычислить среднее и размах для каждой подгруппы данных (подвыборки)

2 Вычислить полное среднее, X, усредняя каждое из средних для k подгрупп

3 Вычислить средний размах, R, усредняя каждый из размахов для k подгрупп

4 Центральной линией для X-карты будет X. Центральной линией для R будет R

5 Найти по справочным таблицам значения A

, D

и D

при размере подгруппы n

6 Вычислить A

7 Вычислить UCLx = X + A

8 Вычислить LCLx = X - A

9 Вычислить UCL

= D

10 Вычислить LCL

= D

В этой процедуре A

, D

и D

– константы преобразования средних и разма-

хов подвыборок в несмещенные оценки для пределов

±±

3σ. Их значения определя-

ются по справочной таблице 5.12 или подобным ей таблицам, которые можно най-

ти в литературе по статистическому управлению процессами.

Таблица 5.12. Константы для вычисления контрольных пределов

Объем подвыборки (n) A

2 1,880 - 3,268

3 1,023 - 2,574

4 0,729 - 2,282

5 0,577 - 2,114

6 0,483 - 2,004

7 0,419 0,076 1,924

8 0,373 0,136 1,864

9 0,337 0,184 1,816

10 0,308 0,223 1,777

В рассматриваемом примере на рисунке 5.22 процесс устойчив. Если резуль-

тирующая кривая на графике выходит за верхний или нижний контрольный предел,

это указывает на существование проблем с процессом. Но, даже если кривая на

картах X и R не выходит за контрольные пределы, однако ее конфигурация выра-

жает определенную тенденцию поведения для следующих друг за другом выборок,

это может указывать на то, что процесс все же вышел из-под контроля.

Считается, что процесс выходит из-под контроля, если:

• одна или более точек кривой вышли за контрольные пределы;

• обозначился сдвиг процесса – восемь точек подряд находятся по одну

сторону CL;

• две из трех последовательных точек вышли за пределы уровня 2σ;

• четыре из пяти последовательных точек вышли за пределы уровня 1σ;

• повторяется один и тот же фрагмент кривой (определенная последова-

тельность из семи точек);