Липаев В.В. Сертификация программных средств. Учебник

Подождите немного. Документ загружается.

Лекция 2. Системные

требования,

типы и источники дефектов... 61

зультатов с требованиями, планами и стандартами разработки, недос-

татки документации;

• описание ошибки и/или дефекта, достаточное для его пони-

мания и устранения, описание возможных корректирующих дейст-

вий, предназначенных для устранения зарегистрированного дефекта;

• подробное описание сценария и исходных данных, при кото-

рых выявлен дефект и документы результатов его регистрации;

• предположение о причине, вызвавшей проявление ошибки

и/или дефекта;

• описание возможных корректирующих действий, предназна-

ченных для устранения зарегистрированного дефекта;

• тесты, исходные данные и сценарий, при которых повторно

проявляется выявленный дефект;

• результаты анализа и рекомендации о возможных способах

устранения дефекта или о реализации предложения по совершенство-

ванию комплекса программ;

• оценки сложности, трудоемкости, эффективности и срочности

корректировки комплекса программ для устранения дефекта;

• оценки влияния предлагаемых изменений на возможность

эксплуатации версий программного продукта, имеющихся у пользо-

вателей.

Исследования ошибок 20 крупных завершенных и поставляе-

мых программных продуктов, созданных в 13 различных организа-

циях, показали, что коллективы специалистов добились среднего

уровня 0,06 дефекта на тысячу строк нового и измененного про-

граммного кода. В пяти наибольших из них по размеру достигнуто

0,04 - 0,075 ошибок на тысячу строк. Таким образом, уровень ошибок

около 0,05 на тысячу строк кода в разных публикациях считается

близким к предельному уровню для высококачественных про-

граммных продуктов. Уровень ошибок критического проекта осо-

бенно высокого качества может служить программный продукт бор-

товых систем Шатла [19], созданный NASA. В нем содержится менее

одной ошибки на 10000 строк кода. Однако стоимость программного

продукта достигала 1000 $ за строку кода, что в среднем в сто раз

больше, чем для административных систем, и в десять раз больше,

чем для ряда критических систем реального времени.

Приведенные характеристики типов дефектов и количественные

данные могут служить ориентирами при прогнозировании возмож-

В. В.

Липаев. Сертификация программных средств

ного уровня не выявленных ошибок при тестировании различных

сложных программных продуктов высокого качества. Следующим

логическим шагом процесса их оценивания может быть усреднение

для большого числа проектов фактических данных о количестве

ошибок на конкретном предприятии, приходящихся на тысячу

строк кода, которые обнаружены в различных комплексах программ.

Тогда в следующих проектах будет возможность использовать эти

данные, в качестве меры количества ошибок, обнаружение которых

следует ожидать при выполнении проекта с таким же уровнем каче-

ства, или с целью повышения производительности или для оценки

момента прекращения дальнейшего тестирования. Развитие тех-

нологии обеспечения жизненного цикла сложных комплексов про-

грамм, и средств автоматизации проектирования приводит к измене-

нию

уровня и интенсивности устранения ошибок. Подобные оцен-

ки гарантируют от избыточного оптимизма при определении сро-

ков необходимого тестирования при разработке графиков реализации

комплексов программ с заданным высоким качеством. Непредсказуе-

мость конкретных ошибок в программах приводит к целесообразно-

сти последовательного тестирования, методичного фиксирования и

анализа возможности проявления любого типа дефектов и необходи-

мости их исключения на наиболее ранних этапах разработки при ми-

нимальных затратах.

Любые испытания ограничены допустимым количеством и

объемом тестирования, а также длительностью работы комиссии

испытателей, поэтому не могут гарантировать абсолютную про-

верку программного продукта соответствию требованиям функций и

характеристик. Для повышения достоверности определения и улуч-

шения оценивания характеристик после внутренних или квалифика-

ционных испытаний некоторые типы комплексов программ целесо-

образно передавать пользователям на опытную эксплуатацию в

типовых условиях. Это позволяет более глубоко оценить эксплуата-

ционные характеристики созданного комплекса и устранить некото-

рые дефекты и ошибки. Опытную эксплуатацию целесообразно про-

водить разработчиками с участием испытателей-заказчиков и некото-

рых пользователей, назначаемых заказчиком. Результаты и характе-

ристики качества опытной эксплуатации после внутренних испыта-

ний могут учитываться при проведении заказчиком квалификацион-

ных испытаний для их сокращения.

Лекция

Системные

требования,

типы

источники

дефектов... 63

Для заказчика и пользователей доминирующее значение могут

иметь номенклатура и особенности реализации некоторых отдельных

функций комплекса программ, которые, как правило, требуют наи-

больших затрат на тестирование и определяют основной эффект от

применения программного продукта, а также потенциальный уровень

спроса на рынке. Если затраты на разработку комплекса программ

можно оценивать и прогнозировать с некоторой достоверностью, то

эффективность применения и особенно будущий спрос на конкрет-

ную версию программного продукта со стороны пользователей ап-

риори оценить трудно. Такие оценки могут проводиться на основе

специальных маркетинговых исследований и опыта эксплуатации

аналогичных комплексов программ или достаточно близких их про-

тотипов.

64 В.В. Липаев. Сертификация программных средств

Часть 2

СЕРТИФИКАЦИЯ ПРОЦЕССОВ

ПРОИЗВОДСТВА ПРОГРАММНЫХ СРЕДСТВ

Лекция 3

БАЗОВЫЕ СТАНДАРТЫ СЕРТИФИКАЦИИ

УПРАВЛЕНИЯ ПРОИЗВОДСТВОМ

ПРОГРАММНЫХ ПРОДУКТОВ

Принципы организации производства

программных продуктов

Сертификация процессов производства программных про-

дуктов предполагает проверку организации и управления на пред-

приятии регламентированных и стандартизированных технологиче-

ских процессов жизненного цикла комплексов программ. Поэтому

необходимо освоить и понимать основные принципы этих произ-

водств.

Методической основой технологии ЖЦ ПС, регламентирую-

щей деятельность специалистов, является типовой технологический

процесс. Он отражается набором этапов и операций в последователь-

ности их выполнения и взаимосвязи, обеспечивающих упорядоченное

ведение работ на всех стадиях от инициирования проекта и подготов-

ки технического задания до завершения испытаний или применения

версии программного продукта. Индустриализация технологий соз-

дания ПС базируется на стандартизации процессов разработки про-

грамм, их структурного построения и интерфейсов с операционной и

внешней средой. Технические и управленческие проверки, анализ ка-

чества результатов промежуточных работ и компонентов, а также

корректности их взаимосвязей должны обеспечивать руководителям

и всем разработчикам уверенность достижения требуемого конеч-

ного результата проекта - рис.3.1.

Лекция 3. Базовые стандарты сертификации...

Принципы организации производства программных продуктов:

для подготовки к сертификации процессов производства

программных продуктов руководители и специалисты

должны освоить и понимать:

- методические основы жизненного цикла и технологии производства

программных средств, регламентирующих деятельность специалистов

типовой технологический процесс;

- концептуальные и организационные основы административного

управления жизненным циклом и качеством ПС, на базе восьми прин-

ципов, которые декларированы в стандартах ISO 9000:2000;

- цель системного проектирования - подготовить, обосновать и согла-

совать замыслы и решения заказчика (потребителя) и разработчика

(поставщика) создания программного средства и его качества;

- цель управления проектом - рациональное использование и преду-

преждение потери ресурсов путем сбалансированного распределения

их по частным работам на протяжении всего жизненного цикла ПС;

- стратегическое планирование жизненного цикла проекта должно

содержать долгосрочные цели развития и модификации комплекса

программ определенного функционального назначения;

- методы и средства технико-экономического обоснования трудоем-

кости и длительности производства программного средства, а также

числа необходимых специалистов;

- подготовку контракта (договора) на детальное проектирование или

на весь жизненный цикл программного средства.

Рис.

3.1

В современных автоматизированных технологиях создания и

совершенствования сложных ПС с позиции обеспечения их качества

можно выделить базовые методы и средства, позволяющие:

• создавать программные модули и функциональные компо-

ненты высокого, гарантированного качества;

• предотвращать дефекты проектирования за счет систем

обеспечения качества, эффективных технологий и инструментальных

средств автоматизации всего жизненного цикла комплексов программ

и баз данных;

• обнаруживать и устранять различные дефекты и ошибки

проектирования, разработки и сопровождения программ путем вери-

В. В.

Липаев. Сертификация программных средств

фикации и систематического тестирования на всех этапах жизненного

цикла ПС;

• удостоверять достигнутые значения качества функцио-

нирования программного продукта в процессе их испытаний и сер-

тификации перед передачей в регулярную эксплуатацию пользовате-

лям.

Комплексное, скоординированное применение этих методов,

стандартов и средств в процессе создания, развития и применения ПС

позволяет исключать многие виды дефектов или значительно ослаб-

лять их влияние. Тем самым уровень достигаемого качества ПС ста-

новится предсказуемым и управляемым, непосредственно завися-

щим от ресурсов, выделяемых на его достижение, а главное, от сис-

темы качества и эффективности технологии, используемых на всех

этапах жизненного цикла ПС. Основными целями упорядочивания,

регламентирования процессов и применения стандартов в жизнен-

ном цикле программных средств являются:

• снижение трудоемкости, длительности, стоимости и улучше-

ние других технико-экономических показателей проектов программ-

ных продуктов;

• повышение качества разрабатываемых и/или применяемых ком-

понентов и программных средств в целом при их проектировании, произ-

водстве, сопровождении и эксплуатации;

• обеспечение возможности расширять ПС по набору приклад-

ных функций и масштабировать комплекс программ в зависимости от

изменения размерности решаемых задач;

• обеспечение переносимости прикладных программ и данных

между разными аппаратными и операционными платформами и по-

вторного использования программных компонентов.

Методология обеспечения жизненного цикла ПС поддержана

рядом методических документов и инструментальных средств про-

граммной инженерии, а также формализована группой международ-

ных стандартов (см. Приложение). Концептуальные и организаци-

онные основы административного управления жизненным циклом и

качеством ПС определены в восьми базовых принципах, которые

декларированы в стандартах ISO 9000:2000 и составляют методиче-

скую основу технологических процессов

этих стандартах.

Принцип 1 - Ориентация предприятия-разработчика на по-

требителя-заказчика. - Предприятия зависят от своих потребите-

Лекция 3. Базовые стандарты сертификации...

лей и, таким образом, должны понимать текущие и будущие потреб-

ности потребителей-заказчиков, удовлетворять их требования и

стремиться превзойти их ожидания.

Принцип 2 -Лидерство-руководство. -Лидеры обеспечивают

единство назначения и направления деятельности предприятия. Они

должны создавать и поддерживать внутреннюю окружающую среду,

в которой специалисты могут в полной мере участвовать в достиже-

нии стратегических целей предприятия.

Принцип 3 - Вовлечение персонала. - Люди составляют сущ-

ность предприятия на всех уровнях, и их полноценное участие в дея-

тельности способствует применению их способностей на благо целей

предприятия.

Принцип 4 - Процессный подход. - Желаемый результат дос-

тигается более эффективно, когда требуемые ресурсы и деятельность

специалистов предприятия управляются как единый связанный про-

цесс.

Принцип 5 - Системный подход к административному

управлению. - Выявление и понимание задач и административное

управление системой взаимосвязанных процессов для заданной стра-

тегической цели, повышает эффективность и результативность пред-

приятия.

Принцип 6 - Постоянное усовершенствование. - Непрерыв-

ное усовершенствование процессов и повышение качества продукции

должно быть постоянной стратегической целью предприятия и его

специалистов.

Принцип 7 - Подход к принятию решений, основанный на

фактах. - Эффективные решения должны базироваться на анализе

только реальных данных и достоверной информации.

Принцип 8 -Взаимовыгодные отношения с поставщиками. -

Предприятие-пользователь и его поставщики-разработчики взаимоза-

висимы, и взаимовыгодные отношения между ними повышают спо-

собность обоих производить качественную продукцию.

Выполнение этих принципов способствует повышению управ-

ленческой культуры, применению системы административного

управления качеством во всех видах деятельности предприятий и, как

следствие, обеспечению высокого качества и конкурентоспособности

создаваемой продукции, проектов и систем.

Каждый из этих принципов рекомендуется применять при:

В. В.

Липаев. Сертификация программных средств

• формулировке политики и стратегии обеспечения всего ЖЦ

ПС;

• выборе целей проекта и плановых характеристик качества

ПС,

непосредственно связанных с потребностями и ожиданиями за-

казчиков и потребителей;

• управлении операциями в процессе реализации проекта для

удовлетворения требований заказчика и потребителей;

• управлении ресурсами и специалистами предприятия для

обеспечения ЖЦ ПС и его качества.

В процессе эксплуатации ПС у каждого пользователя могут по-

являться некоторые претензии к функционированию, которые квали-

фицируются им как ошибки или дефекты базовой или собственной,

адаптированной версии. От пользователей или заказчиков могут по-

ступать также предложения по внесению изменений в базовую вер-

сию для улучшения эксплуатационных характеристик и расширения

функциональных возможностей ПС. Аналогичные предложения мо-

гут поступать от разработчиков комплекса программ. Для решения

таких задач разработаны и активно применяются в жизненном цикле

стандартизированные методы, методики и средства автоматизации

регламентированного сопровождения и управления конфигурацией.

Они позволяют представить отдельным специалистам и руководите-

лям, состояние проекта и его компонентов в любой момент времени и

не допускать хаоса при коллективной модификации программ и дан-

ных. Дисциплина сопровождения и конфигурационного управления,

а также ее соблюдение, в значительной степени, определяют технико-

экономические показатели жизненного цикла сложного проекта, его

качество, длительность применения и конкурентоспособность про-

граммного продукта. При этом основу этих процессов управления

могут составлять стандарты менеджмента качества жизненного цикла

систем - CMMI, административного управления системой качества -

ISO 9000. Жизненный цикла ПС целесообразно определять на ос-

нове подмножества процессов, работ и задач стандарта ISO 12207

(см.

лекцию 4), выбирая их с учетом характеристик конкретной сис-

темы.

Для управления проектом системы и/или программного средст-

ва, прежде всего, должны быть адекватно описаны цели и объект

проектирования. Для сложных систем формализация и детализация

характеристик жизненного цикла объекта происходит одновременно

Лекция 3. Базовые стандарты сертификации...

с процессом его проектирования. Последовательно уточняются архи-

тектура объекта, основные функции и их характеристики, требую-

щиеся показатели качества функционирования и методы решения за-

дач.

Все эти данные отражаются в концепции, техническом задании,

спецификации требований и предварительном описании проекта, ко-

торые детализируются и конкретизируются по мере его развития. Это

определяет принципиальную особенность планирования проектов

сложных систем, состоящую в наличии влияния на план изменяю-

щихся значений и достоверности знаний разработчиков о требуемых

характеристиках объекта разработки. С этим связана необходимость

итерационного уточнения планов и концепции на всех этапах проек-

тирования, разработки и совершенствования систем.

Цель управления проектом - рациональное использование и

предупреждение потери ресурсов путем сбалансированного распре-

деления их по частным работам на протяжении всего жизненного

цикла объекта с заданным качеством. Управление проектом - это

особый вид деятельности, включающий постановку задач, подготовку

решений, планирование, организацию и стимулирование специали-

стов,

контроль хода работ и использования ресурсов при создании

сложных систем. Задачи целевого управления такими работами -

сводить воедино усилия исполнителей - специалистов разной квали-

фикации, подрядчиков и субподрядчиков, добиваясь, чтобы они вы-

ступали как команда, а не как разрозненная группа функциональ-

ных специалистов при создании компонентов систем. В результате

должны обеспечиваться концептуальная целостность системы и вы-

сокое качество решения главных задач при сбалансированном ис-

пользовании ресурсов на все функциональные задачи.

Методологической базой целевого планирования и управле-

ния жизненным циклом проекта является системный анализ, ко-

торый предполагает:

• обследование объектов и среды проектирования для предва-

рительной формализации целей, назначения и задач проекта;

• исследование и сопоставление альтернативных действий, ко-

торые должны приводить к достижению поставленных целей проек-

тирования;

• сравнение альтернатив по величине достигаемого эффекта

проекта в зависимости от затрат на его достижение (желательно, по

показателю «эффективность/стоимость»);

В.В.

Липаев. Сертификация программных средств

• учет и анализ влияния неопределенностей характеристик аль-

тернатив, определяющих их выбор, на эффект реализации проекта.

Чтобы найти и проанализировать все разумные альтернативы,

обычно недостаточно одного специалиста, и необходимо участие в

системном анализе специалистов разной квалификации. Не во всех

системах и задачах оказывается доступным точный количественный

подход. Во многих, чаще всего особенно сложных случаях, прихо-

дится ограничиваться качественным анализом свойств объекта, фак-

торов и их влияния на конечный результат и возможный эффект про-

екта. Поэтому оптимизация решений и выбора альтернатив может ог-

раничиваться оценкой логических суждений экспертов.

План проекта должен отражать рациональное сочетание целей,

стратегий действий, конкретных процедур, доступных ресурсов и

других компонентов, необходимых для достижения поставленной

основной цели создания продукта с заданным качеством. Плани-

рование жизненного цикла проектов должно обеспечивать компро-

мисс между требующимися характеристиками создаваемой системы и

ограниченными ресурсами, необходимыми на ее разработку и приме-

нение. По мере уточнения исходных данных об объекте разработки,

внешней среде применения и ресурсах, в процессе системного анали-

за и проектирования возрастает достоверность планирования. При

этом определяющими являются организация, стимулирование и кон-

троль развития проекта. Контроль является органической функцией

управления и должен иметь средства регулирования поведения от-

дельных личностей и коллектива проектировщиков в целом.

Для интеграции усилий специалистов и эффективного использо-

вания ресурсов проекта должен выделяться руководитель -лидер,

управляющий проектом. Все ресурсы и исходные данные, необхо-

димые для эффективного выполнения проекта, лидер получает от за-

казчика и функциональных подразделений и специалистов. Задача

управляющего проектом наряду с прямыми воздействиями на подчи-

ненных и координацией их работ - стимулировать и контролировать

активность прямых связей между исполнителями частных работ. Для

того чтобы процесс достижения целей был рациональным, лицо, при-

нимающее решение (управляющий), должно иметь выбор среди аль-

тернативных действий, ведущих к цели [9, 12].

Для получения, накопления и применения достоверных данных

об объектах управления и альтернативах необходима информацион-