Цейтлин Н.А. Из опыта аналитического статистика

Подождите немного. Документ загружается.

допустимых значений этого вектора можно было бы задавать с использованием функции

многомерного распределения. Однако эти функции громоздки. Предлагается задавать ООМ с

помощью системы линейных неравенств (см. [Р6.2.1]). Процедура ООМ определяет ООМ для

ЭФР как гиперпараллелепипед, если мультиколлинеарность незначима, или как окаймленный

плоскостями гиперэллипсоид, если – значима [1, 24].

Замечание. Важно отметить, что область ООМ определена на всём множестве

факторов, характеризующих объект экспериментальных исследований (см. введение): не

варьируемых факторов (и, следовательно, не принятых в расчёт) и варьируемых факторов,

принятых в расчёт (а не только на подмножестве значимых факторов, включённых в ЭФР в

процедурах ОСФ и ЛФР)!

Ортогонализации плана эксперимента (ОПЭ)

Процедура ОПЭ используется, когда необходимо получить интерпретируемую ЛФР, а

мультиколлинеарность значима. ОПЭ достигается путем исключения некоторых опытов (и

соответствующего снижения ООМ) до тех пор, пока оставшиеся опыты ни образуют почти

ортогональный план эксперимента.

Кроме описанных выше, в программе РЕГАН объединены еще несколько процедур:

определение и исключение из расчетов факторов, принимающих во всех опытах постоянные

значения; вычисление критерия Дурбина-Ватсона [25] для проверки гипотезы о

независимости значений остатков, ранжированных по порядковому номеру наблюдений,

или по любой другой заданной переменной (см. также [Р6.2.7]).

Пример. Для исследования процесса карбонизации аммонизированного раствора в содовом

производстве необходимо обобщить результаты 12-ти опытов [26] по определению минимального

количества кристаллической подкладки, предупреждающего образования новых центров

кристаллизации.

Введем обозначения: Х

– температура раствора,

С; Х

– скорость кристаллизации NaHCO

(н. д.)/мин.; Х

– количество подкладки, н. д.; Х

– количество связанного аммиака в исходном

растворе, н. д.; Х

– конечное пересыщение, н. д.

Искали зависимость Х

= f(X

, X

) в виде полинома второго порядка, включающего

следующие исходные и функционально-преобразованные признаки:

№ признака

Признак № признака Признак № признака Признак

1 Х

11 Х

2 Х

12 Х

3 Х

13 Х

4 Х

14 Х

5 Х

10 Х

15 Х

Так как в таблице экспериментальных данных [27] в опыте №6 отсутствовало значение

отклика Х

, этот опыт был исключен.

В 1-й серии ОСФ на 4-м шаге (см. табл. 2) коэффициент b

оказался незначимым на уровне

0,2. Поэтому, во второй серии расчетов соответствующий фактор Х

был исключен из

подозреваемых в течении 4-х шагов. Аналогично в 3-й серии в течение 4-х шагов был включен

(отметим, что по методу Эфроимсона на 5-м шаге в регрессии был бы исключен фактор Х

, и к

факторам 9, 11, и 3 добавлен один из оставшихся подозреваемых факторов).

Таблица 2.

Использование метода серий для отбора существенных факторов в примере

Номер

шага

серии

шага в серии

Номера включенных признаков и

их значимость*

Коэффициент

детерминации R

COOO**

1 1 -1 -0,19 2,72

2 2 +1, +9 -0,51 2,25

3 3 +1, +9, +11 +0,80 1,53

4 =1, +9, -11, -3 +0,84 1,48

5 1 -6 -0,19 2,73

2 +6, +9 -0,51 2,26

7 3 +6, +9, +11 +0,79 1,59

4 =6, +9, +11, -3 0,83 1,51

9 1 -7 -0,19 2,74

10 2 +7, +2 +0,76 1,58

11 3 +7, +2, -9 +0,82 1,47

4 +7, +2, -9, =15 +0,86 1,37

*) Знак «+» перед номером означает, что соответствующий коэффициент значим, знак «-» –

отсутствие значимости на уровне 0,06; знак «=» – отсутствие значимости на уровне 0,2.

**) СООО – среднеквадратичное отклонение остаточной ошибки.

Метод серий ОСФ позволил получить три полезных функции регрессии (на 3-м, 7-м и 10-м

шагах табл. 3):

= 18,9 – 0,20Х

- 41

⋅

-4

- 415

⋅

-3

;

= 14,67 - 22⋅10

-4

- 41⋅10

-4

- 404⋅10

-3

;

= -1,27 – 26,2

+ 31,0Х

Наилучшей по остаточной ошибке (и выбранной в программе) является первая из

приведенных ЭФР, однако последняя проще других.

Автор надеется, что идеи и алгоритмы, апробированные в нашей программе РЕГАН, будут

востребованы как пользователями ППП по математической статистике, так и

разработчиками новых версий ППП.

Литература

1. Цейтлин Н. А. Применение методов математической теории эксперимента в содовой промышленности.

Обзорная информация. Серия: Содовая промышленность. – М.: НИИТЭХИМ, 1984. – 36 с.

2. Зайцев И. Д., Цейтлин Н. А., Чайка В. П. Обобщение данных для расчета параметров в

газопарожидкостных системах производства кальцинированной соды аммиачным способом //Хим.

технология. – 1983. - №6. – С. 25 - 27.

3. Цейтлин Н. А., Новик Ф. С., Авраменко Э. Н. Некоторые способы кусочно-гладкой аппроксимации

функций // Заводская лаборатория. – 1982. - №1. – Т. 47. - С. 48 - 55.

4. Едвабник И. Ю., Новик Ф. С., Цейтлин Н. А. Использование двухсторонних сплайнов для

аппроксимации сложных физико-химических кривых // Зав. лаб. – 1985. – Т. 51. – С. 54 – 57.

5. Едвабник И. Ю., Новик Ф. С., Цейтлин Н. А. Аппроксимация сложных физико-химических функций с

помощью двухсторонних сплайнов (Рукопись деп. в ОНИИТЭХИМ г. Черкассы 11 мая 1984г. №912XII-

Д84). – Библ. указатель ВИНИТИ Деп. рукописи. – 1985. - №1. – С. 147.

6. Цейтлин Н. А., Зайцев И. Д. Методы расчета параметров физико-химических свойств смешанных

растворов электролитов. // В кн.: Технология соды и содопродуктов. Труды НИОХИМа. – Т. 52. – Харьков,

1980. – С. 21 – 35.

7. Цейтлин Н. А., Золотарев Е. Н., Зинченко М. Г., Заир-Бек Я. С., Рудай А. Н., Михайлов В. П.

Математическая модель процесса каталитического окисления окиси углерода в отходящих газах содового

производства // Хим. технология. – 1981. - № 2. – С. 54 – 56.

8. Ткач Г. А., Цейтлин Н. А., Райко В. Ф., Толстокорова И. С. Использование методов математической

статистики в исследовании результатов несчастных случаев на химических заводах. - Харьков: НИОХИМ,

1982. – 43 с. (ОНИИТЭХИМ г. Черкассы 28 апреля 1982 г. №519XII-Д82) – Библ. Указатель ВИНИТИ, Деп.

Рукопись. - 1982. - №8.

9. Цейтлин Н. А., Райко В. Ф., Островский М. Г. и др. Обработка на ЭВМ информации о

производственном травматизме с применением методов математической и описательной статистик. (Деп.

рук. № 584XII-Д82, г. Черкассы, 1984, 43с.) – Реф. в Библ. Указ. ВИНИТИ Деп. рукописи. – 1984. - №10. – С.

132.

10. Айвазян С. А. и др. Прикладная статистика: Исследование зависимостей: Справ. изд./ С. А. Айвазян,

И. С. Енюков, Л. Д. Мешалкин; Под. ред. С. А. Айвазяна. – М.: Финансы и статистика, 1985. – 487 с.

11. Адамов С. Ю., Айвазян с. А., Бритиков Е. Е. и др. Материалы по МО ЭВМ. Пакет программ по

прикладному статистическому анализу. Руководство пользователя. – М.: Изд. ЦЭМИ, 1983. – 188с.

12. Василенко А. Н., Герасимович Т. А., Горячева Т. В. и др. Математическое обеспечение ЕС ЭВМ. –

Вып. 14. – Минск: Ин-т математики АН БССР, 1978. – 330 с.

13. Дрейпер Н., Смит Г. Прикладной регрессионный анализ / Пер. с англ. – М.: Статистика, 1973. – 392 с.

14. Efroimson M. A. Multiple regression analyses. – Sn: Mathematical Methods for Digital Computers / Ed. By

Ralson A. and Wilf H. S. – N.Y., 1960. – P. 191 – 203.

15. Афифи А., Эйзен С. Статистический анализ. Подход с использованием ЭВМ. – М.: Мир, 1982.– 488 с.

16. Thompson M. Z. Selection of variables in multiple regression: Part 1. A review and evaluation. –

International Statistical Review. – 46(1978). – P. 1 – 19.

17. Себер Дж. Линейный регрессионный анализ. – М.: Мир, 1980. – 456 с.

18. Андерсон Т. Введение в многомерный статистический анализ. – М.: Физматгиз, 1963. – 500 с.

19. Смоляк С. А., Титаренко Б. П. Устойчивые методы оценивания. – М.: Статистика, 1980. – 208 с.

20. Идье В., Драйорд Д., Джеймс Ф. и др. Статистические методы в экспериментальной физике. – М.:

Атомиздат, 1976. – 336 с.

21. Адлер Ю. П., Маркова Е. В., Грановский Ю. В. Планирование эксперимента при поиске оптимальных

условий. – М.: Наука, 1976. – 280 с.

22. Цейтлин Н. А., Гордеев Л. С., Ицков Ф. Э., Петренко С. А. Адекватность эмпирической функции

регрессии данным пассивного эксперимента на промышленном объекте // В кн.: Тез. докладов всесоюзной

научной конф. «Повышение эффективности, совершенствование процессов и аппаратов химических

производств». – Ч. 7. – С. 37, 38. – Харьков, 1985. – 120 с.

23. Цейтлин Н. А., Гордеев Л. С., Ицков Ф. Э., Петренко С. А. Адекватность эмпирической функции

регрессии данным пассивного эксперимента на промышленном объекте: Тезисы доклада всесоюзной

научной конференции ХПИ «ПАХТ-85». – 1985.

24. Цейтлин Н. А., Дидович М. Я., Едвабник И. Ю. и др. Исследование механических свойств, шлама

дистилляции содового производства с применением методов математической статистики // Хим. технология.

– 1983. - №6. – С. 34 – 36.

25. Джонстон Дж. Эконометрические методы. – М.: Статистика, 1980. – 446 с.

26. Цейтлин Н. А. Методы статистической обработки результатов наблюдений при пылегазовых замерах.

– Х., 1981. – Рукоп. предст. НИОХИМом, Деп. в ОНИИТЭХИМ г. Черкассы 7 авг. 1981 г., № 725ХII-Д81.

27. Гольдштейн Я. Р. Механизм роста кристаллов бикарбоната натрия // Журн. прикл. химия. – 1951. – Т.

24. - №9. – С. 925 – 939.

6.2.7. Алгоритмическое и программное обеспечение построения регрессионных моделей

химико-технологических процессов действующего производства

Наука - вещь хорошая, но она в своей отвлеченности никак не может заменить нам своих

практических применений к жизни. (Д. И. Писарев)

В одноименной статье (Ицков Ф. Э., Рудай А. Н., Цейтлин Н. А. - Инф. бюлл. по хим. пром.

№1 (122), 1989. - с. 37 - 40.) авторами был подведен итог многолетней работы по созданию

системного алгоритма обработки результатов пассивного эксперимента методом

регрессионного анализа. Программный продукт получил название РЕГАН (регрессионный анализ).

При построении регрессионных математических моделей химико-технологических

процессов (ХТП), как, впрочем, и вообще - объекта экспериментальных исследований (ОЭИ),

приходится обрабатывать результаты пассивного, в лучшем случае – активно-пассивного

эксперимента [1 – 3]. Это приводит к возникновению ряда статистических проблем. Наличие

пропусков и грубых ошибок в получаемых данных ведет к смещённости оценок параметров

модели, отсутствие параллельных опытов затрудняет проверку ее адекватности,

мультиколлинеарность факторов приводит к плохой обусловленности информационной матрицы,

усложняет задачи поиска наилучшей регрессии и содержательной интерпретации полученной

регрессионной модели ОЭИ. Каждая статистическая задача обладает спецификой, рассмотрение

которой требует участия экспертов (специалистов в предметной области (СПО), аналитического

статистика (АСа) и иногда - математиков). Использование формальных процедур [1 – 4] и ЭВМ

улучшает взаимопонимание экспертов и ускоряет процедуру обработки данных.

В настоящей работе схематически описано алгоритмическое и программное обеспечение,

позволяющее производить построение регрессионных моделей ОЭИ по данным пассивного

эксперимента (например, ХТП - в условиях действующего производства).

Операторная блок-схема алгоритма построения регрессионных моделей (рисунок) включает

неформальные блоки (на схеме отмечены индексом «н»: А

, В

и т. д.), обеспеченные экспертным

советом (состоящем из АСа и СПО), и формальные блоки, обеспеченные пакетом прикладных

программ регрессионного анализа [3].

Исходные данные для обработки готовит СПО (блок А). Подготовка функциональных

преобразований признаков (ФПП) осуществляется с учетом уровня теоретических достижений в

данной предметной области. Обычно, например, в химико-технологических исследованиях ФПП

являются логарифмами критериев подобия, членами рядов Фурье, Тейлора и. п. [3].

Процедура ФПП позволяет пользователю задавать любые операции и встроенные функции

на обычном алгоритмическом языке.

Для проверки статистических гипотез применяется альфа-метод [1 – 3], согласно которому в

качестве статистической характеристики проверяемой гипотезы используется сам уровень

значимости. Результат проверки гипотез зависит от соотношения между оценкой уровня

значимости

и критическим значением уровня значимости α

, задаваемым экспертом (блок В)

априори. Если

αα

, то проверяемая гипотеза отклоняется. Альфа-метод используется для

анализа остатков, выбросов, проверки значимости коэффициентов корреляции и регрессии, а

также согласованности эмпирического распределения остатков с нормальным законом.

Наличие пропусков в отклике может привести к существенному смещению оценок коэффи-

циентов регрессии. Поэтому перед пошаговой процедурой регрессионного анализа (блок К) преду-

смотрено автоматическое удаление строк (опытов), в которых отклик пропущен (блоки G, Н).

Отбор существенных факторов (СФ) производится с помощью метода «всех регрессий» [7] -

при малом количестве базисных функций (до 20, или чуть больше, что зависит от быстродействия

ЭВМ) и метода «серий» [3] – при большом количестве базисных функций. На первых шагах

метода серий в регрессию включается по одному фактору. Если на некотором шаге т какой-либо

коэффициент оказался незначимым, то поиск СФ возвращается на п шагов (n > 1) к тому шагу, на

котором соответствующий фактор впервые был включен в регрессию. В следующей серии отбора

СФ этот фактор включается в регрессию только на шаге т + 1 – п. При п = 1 отбор СФ

прекращается. Эта процедура в сочетании с процедурой варьирования уровня значимости

позволяет получить несколько полезных и одну лучшую функцию регрессии (блок J). Последняя

используется в процедурах исправления ошибочных значений отклика (блоки О, Р), анализа

остатков (блок N) и оценивания дисперсии воспроизводимости отклика [2] по параллельным и

почти параллельным опытам (блок R).

Рисунок. Операторная блок-схема алгоритма построения регрессионных моделей

Обозначения: Знаками "-" и "+" обозначено «нет» и «да», соответственно;

– матрица результатов наблюдений (значения переменных величин в опытах);

– задание функциональных преобразований признаков, факторов, откликов, критических

уровней значимости, требований печати результатов расчета;

С – построение расширенной матрицы данных согласно заданию функциональных

преобразований признаков;

D – есть ли в матрице данных пропуски?

Е – расчет ковариационной матрицы с использованием процедуры попарного вычеркивания;

F – расчет средних и среднеквадратичных отклонений переменных из расширенного списка,

расчет α-критериев значимости коэффициентов корреляции;

G – есть ли пропуски значений отклика?

H – исключение опытов, содержащих пропуски значений отклика;

I – есть ли пропуски значений факторов?

J – расчет ковариационной матрицы с использованием процедуры попарного вычеркивания;

K – пошаговая процедура регрессионного анализа с использованием метода всех регрессий

или серий и процедуры варьирования критическим уровнем значимости коэффициентов;

L – печать статистических характеристик полезных и лучшей функций регрессии;

M – печать корреляционной матрицы оценок коэффициентов регрессии лучшей функции

регрессии;

N – анализ остатков лучшей функции регрессии. Проверка гипотезы о нормальном

распределении остатков по критериям Мизеса и моментов;

O – обнаружены ли выбросы остатков?

P – исправление остатков (винсоризация);

Q – окаймление области определения регрессионной модели;

– расчет дисперсии воспроизводимости отклика по почти параллельным опытам;

– адекватна ли функция регрессии?

– независимы ли оценки коэффициентов функции регрессии?

– интерпретация функции регрессии (суждение о влиянии каждого фактора на отклик);

- ортогонализация расширенной матрицы плана методом исключения опытов,

вызывающих мультиколлинеарность.

Область определения лучшей регрессионной модели (блок Q) окаймляется плоскостями,

проходящими через максимально удаленные от центра распределения факторов

экспериментальные точки, соответствующие минимальным и максимальным значениям факторов,

а также расположенным параллельно диагональным регрессиям Фриша [4].

Если гипотеза об адекватности модели экспериментальным данным не отклонится, то

модель можно использовать для расчета откликов в ОЭИ (блок S), если - отклонится, то следует

повторить всю процедуру регрессионного анализа, включив новые ФПП.

Исследователю часто бывает необходимо выявить влияние каждого фактора ОЭИ на отклик

в отдельности (блок Т). Это позволяет лучше разобраться в сущности процесса и использовать

полученные формулы для управления ОЭИ. Модели, обладающие таким свойством, будем

называть интерпретируемыми. В случае плохой обусловленности информационной матрицы

значимая корреляция между оценками параметров регрессии не позволяет корректно

интерпретировать модель. Для построения интерпретируемых моделей (блок V) используются два

алгоритма исключения строк матрицы данных. Исключение ведется таким образом, чтобы

уменьшить максимальный по модулю коэффициент корреляции оценок параметров регрессии.

Первый алгоритм позволяет отбросить так называемые "далекие" точки, наличие которых

заведомо приводит к существованию значительно отличающихся от нуля коэффициентов

корреляции, второй проводит поочередно исключение точек. Для сокращения времени расчета на

ЭВМ используется мажорантная оценка нормы корреляционной матрицы параметров с помощью

нормы корреляционной матрицы базисных функций, что позволяет не производить обращения

матрицы. Оба алгоритма используются попеременно до тех пор, пока не будет достигнута

незначимость коэффициентов корреляции, либо пока число опытов, оставшихся в плане, не

совпадет с числом оцениваемых параметров.

Опыт применения разработанного алгоритма подробно описан в литературе [1 – 6] и в

настоящей книге.

Литература

1. Цейтлин Н. А. Применение методов математической теории эксперимента в содовой

промышленности. – М.: НИИТЭХИМ, 1984. – С. 36. (Обзорн. инф. Сер.: Содовая пром-сть).

2. Цейтлин Н. А., Гордеев Л. С., Ицков Ф. Э., Рудай А. Н. Оценка дисперсии воспроизводимости

отклика в пассивном регрессионном эксперименте //Теор. осн. хим. технол.– 1987.– т. 27.- №6.– с. 830 – 835.

3. Рудай А. Н., Цейтлин Н. А., Рудай В. И., Ицков Ф. Э. Разработка рациональных процедур

программы линейного регрессионного анализа // Статистические методы в основной химии / Труды

НИОХИМ. – Т. 63. – Харьков, 1986. – С. 93 – 97.

4. Цейтлин Н. А. и др. исследование механических свойств шлама дистилляции содового производства

с применением методов математической статистики // Хим. технология. – 1983. - №6. – С. 34 – 36.

5. Цейтлин Н. А. и др. Обработка на ЭВМ информации о производственном травматизме в химической

промышленности с применением методов математической и описательной статистики / Цейтлин Н. А.,

Райко В. Ф., Островский М. Г., Ицков Ф. Э., Чайка В. П. / Труды НИОХИМ. – Харьков, 1984. – С. 68. (Деп.

В ОНИИТЭХИМ, г. Черкассы, 15.06. 84 №584хп-84 Деп.)

6. Шахова А. Ф. и др. Оценивание влияния температуры охлаждающей воды на степень утилизации

натрия в производстве соды аммиачным способом // Технология и автоматизация содового и смежных

производств / Труды НИОХИМ. – Т. 61. – Харьков, 1985. – С. 3 – 12.

7. Дрейпер H., Смит Г. Прикладной регрессионный анализ. - M.: Статистика, 1973. - 392 с. Изд. 2. Кн.

1.1986.- 366 с., Кн. 2. 1987.- 352 с. - M.: Финансы и статистика.

6.2.8.

Экономика. Решение основных проблем построения регрессионных

моделей экономических показателей химического производства

Факты бывают голые, приукрашенные и экономические. (Из интернета)

Путь к достижению целей статистического исследования методом регрессионного

анализа (PA) очень сложен [1-7]. Обычно проблемы PA в исследовании остаются "в тени" и

создается представление, будто математики получают формулы только путем использования

стандартной программы для ЭВМ. На самом деле, на пути к получению конечных результатов

возникает большое количество взаимосвязанных задач, которые часто невозможно решить

стандартными методами. Одна попытка обобщения нашего опыта решения подобных задач,

связанных с обработкой эконометрических данных, описана в одноимённой работе

[Цейтлин Н. А., Дружинина Т. Н., Юровский B. C., Чайка В. П. В кн.: Применение

математических методов для интенсификации технологических процессов в производствах

основной химической промышленности: Тр. ХНПО "Карбонат". - Харьков, 1989.- т.68. -с.5-24.]

Остановимся только на основных проблемах PA, связанных с обработкой

эконометрических данных, полученных на различных предприятиях. Для примера обратимся к

статистическому исследованию связи таких факторов, как показатели уровня коллективной

организации труда, и таких откликов, как рост производительности труда и снижение затрат

рабочего времени на единицу продукции в содовой подотрасли.

Сформулируем

цели статистического исследования

-установить факт наличия статистической связи между откликами (зависимыми

переменными) и факторами (независимыми переменными);

-подобрать статистическую модель, описывающую связи между откликами и факторами.

Модель должна быть пригодной для целей предсказания (значений отклика по значениям

факторов), интерпретации (в терминах экономики) и управления откликами (путем изменения

значений управляемых факторов).

Исходные данные для исследования (табл. 1) имеют следующую структуру: часть данных -

качественные, характеризующие тип предприятия, остальные - количественные, измеренные в

метрических шкалax. Такие данные могут быть обработаны методом PA.

Введем следующую схему кодирования качественной переменной

{

}

11 1,

∈x . Преобразуем

в 11 количественных переменных х

, х

, …, х

, принимающих значение 0 или 1 согласно

правилу [1, c.6]: x

25+i

= 1, если x

= i; x

25+i

= 0, если x

≠

Это позволяет задать структуру исходной регрессионной функции в первом приближении

таким образом:

{} {}

;23,24,25

MYxiββ

=+∈

∑

, (1)

где M{

⋅

} - оператор математического ожидания, Y = (x

, x

) - вектор откликов;

векторы коэффициентов регрессии,

(

)

36,26;22,2=jx

- факторы.

В результате расчетов методом PA ожидали получить ряд пригодных для анализа [2]

эмпирических функций регрессии (ЭФP), включающих некоторые из факторов, введенных в

исходную модель (1). Возможно, что полученная ЭФР окажется непригодной, в этом случае

придется изменить структуру исходной функции и повторить расчеты.

Теперь мы имеем возможность сформулировать основные проблемы PA.

1. Однородность исходных данных. Обобщая данные по всем заводам с помощью общей

регрессионной модели (1) мы предположили следующее: дисперсии откликов для всех заводов

одинаковы; направление влияния подозреваемых факторов на отклик на всех предприятиях

одинаково, а различие проявляется лишь в средних величинах откликов (для этого используются

коэффициенты при кодированных переменных х

– х

); в исходных данных отсутствуют ошибки

"технические" (опечатки, ошибки вычисления и т. п.) и "субъективные", связанные с завышением

отдельными руководителями предприятий фактических данных (приписками).

Таблица 1

Экономические показатели работы предприятий содовой подотрасли

Диапазон

Показатель Фрагмент таб-

лицы данных

от

до

Номер предприятия х

1 2 3

…

1 11

Номер года (после 1980г.) х

0 0 0

…

0 6

Уровень напряженности норм х

⋅

831 865

835

…

625

895

Удельный вес рабочих, труд которых нормируется, всего х

⋅

765 519

692

…

517

1000

В том числе по технически обоснованным нормам х

⋅

987 985

728

…

632

1000

Уровень рационального использования рабочего времени х

⋅

713 708

681

…

607

879

Удельный вес основных рабочих в общей численности ППП

⋅

241 314

240

…

144

378

Удельный вес рабочих высших разрядов (4-6-го) х

⋅

498 529

467

…

349

712

Доля рабочих, обученных второй и смежным профессиям х

⋅

14 39

…

3 242

Уровень использования квалификации рабочих х

⋅

802 871

783

…

772

893

Доля всех рабочих в бригадной форме организации труда х

⋅

785 828

680

…

295

862

в том числе - в хозрасчетных бригадах х

⋅

0 0 450

…

0 754

в том числе - в комплексных бригадах х

⋅

700 786

450

…

205

919

в том числе - в специализированных бригадах х

⋅

300 214

550

…

795

Уровень стабильности кадров х

⋅

887 831

875

…

756

941

Уровень дисциплины труда х

⋅

999 999

997

…

993

999

Доля всех рабочих, оплачиваемых по единому наряду х

⋅

302 209

298

…

209

1000

в том числе - по конечному результату х

⋅

356 0 512

…

0 930

в том числе - по КТУ х

⋅

118

1000

146

…

5 1000

Уровень механизации труда в основных цехах х

⋅

397 414

301

…

300

720

Уровень механизации труда во вспомогательных цехах х

⋅

402 398

245

…

245

620

Индекс изменения объема производства х

⋅

1026

1003

932

…

804

1930

Доля затрат (%) рабочего времени на единицу продукции х

⋅

-28 9 67

…

-164

133

Изменение (%) производительности труда х

⋅

23 4 -73

…

-174

215

Рост производительности труда х

⋅

, %

10 9 2

…

2 630

ППП – промышленно-производственный персонал.

В случае нарушения перечисленных предположений могут быть получены формулы,

которые в лучшем случае лишь опишут обрабатываемые данные, но не будут пригодны для

интерпретации и прогнозирования. Решение проблемы однородности данных на этапе

статистической обработки заключается в анализе остатков [3], содержательном анализе

полученных ЭФР и проверке их адекватности. Для выявления выбросов или далеко

"выскакивающих" точек разработана программная процедура "исправления ошибочных значений

отклика" (ИОЗО) [2], которая позволяет обнаружить выбросы и после полного завершения PA

повторить расчеты с исправленным значением отклика. Проверка предположения о постоянстве

дисперсии выполняется путем сравнения дисперсий остатков модели регрессии по разным

заводам. Если знаки коэффициентов регрессии противоречат содержательному смыслу влияния

соответствующего фактора или выявлена неадекватность ЭФР данным, то необходимо

пересмотреть структуру ЭФР и повторить расчеты. Нормальный закон распределения остатков

проверяется на всех этапах расчета. Это необходимо для корректного применения процедуры

проверки гипотез [3].

2. Пропуск данных. В строках 1 - 11 табл. 1 исходных данных иногда встречаются пропуски

значений факторов x

– x

. Пропуск некоторых значений факторов требует отбрасывания целых

строчек в таблице данных. Однако при этом теряются степени свободы статистических оценок,

уменьшаются мощность статистических критериев и точность оценок параметров. Возможно

также сокращение области определения ЭФР. Проблема пропуска данных решается наиболее

эффективным из известных методов - методом попарногo вычеркивания [2]. При этом

информация, заложенная в таблице исходных данных, используется полностью.

3. Полнота списка исходных факторов. При подборе структуры эконометрической

модели необходимо учесть все факторы, которые могут влиять на отклики. В список

подозреваемых факторов для регрессионного анализа лучше включить заведомо мало значимые,

чем пропустить существенно значимые факторы [3]. Пропуск существенно значимых факторов в

модели может привести к получению неадекватных ЭФР. Эта проблема решалась нами на этапе

сбора данных. Предполагали, что все существенные факторы в модели (1) учтены.

4. Мультиколлинеарность факторов. Явление мультиколлинеарности факторов

возникает, когда между факторами, входящими в ЭФР, существует почти точная линейная

зависимость. Это явление затрудняет интерпретацию коэффициентов регрессии, так как приводит

к значимой корреляции между ними, допускает искажение их значений вплоть до изменения

знаков. Известные способы решения проблемы мультиколлинеарности [2, 3, 5] сложны, а главное,

не способствуют уменьшению самой мультиколлинеарности. Проще всего для получения

интерпретируемых ЭФР воспользоваться тем, что процедура отбора существенных факторов (СФ)

[2] позволяет получить сразу несколько ЭФР, из которых исследователь может выбрать такие,

которые включают незначимо или слабо коррелирующие между собой факторы. В настоящей

работе используется также новый метод решения проблемы мультиколлинеарности [8]. Назовем

его "методом ортогонализации мультиколлинеарной матрицы плана". Предлагается из

множества строчек данных матрицы плана регрессионного эксперимента выбрать такое

подмножество, которое доставляло бы минимум максимальному по модулю коэффициенту

корреляции между оценками коэффициентов регрессии [8].

Описанный метод полностью не решает проблемы мультиколлинеарности, однако, как

показывает практика, существенно повышает шанс успеха в поиске пригодной ЭФР.

5. Влияющие факторы. Если какой-нибудь фактор x

в таблице данных принимает большое

количество N - n значений, колеблющихся вокруг некоторой средней точки, и небольшое

количество п далеких значений, то есть далеко отстоящих от основной группы, то такой фактор

может оказаться "влияющим". Это значит, что отбрасывание всего п его далеких значений может

привести к существенному изменению значений коэффициентов регрессии или даже вида всей

ЭФР [3]. Для выявления влияющих факторов предлагается [3] отбрасывать n далеких точек.

Допустим, такое отбрасывание покажет, что фактор x

- влияющий. В этом случае отброшенные

точки в дальнейшем расчете не используются. Подобное дополнительное отбрасывание точек

нежелательно по причинам, изложенным выше. Для решения проблем статистического

анализа, которые возникают при наличии влияющих факторов, в настоящей работе

предложено вводить в ЭФР новые базисные функции влияющих факторов. Например, если

фактор x

"подозревается" в том, что он может быть влияющим, то в ЭФР (1) вводятся

дополнительные базисные функции

x ,

x и т. д. Если после обращения к программе PA

обнаружено, что коэффициенты регрессии при этих функциях значимы, то предположение о

том, что фактор x

является влияющим, подтверждается, a eгo влияние учитывается

значимыми членами

jjj

xβ ,

jjjj

xβ и т. д.

6. Подбор исходной структуры ЭФР. Наиболее значительная трудность решения задач PA

заключается в правильном подборе структуры исходной регрессионной функции. Обычно такую

функцию задают с заведомо большим, чем ожидают получить, числом факторов, "подозреваемых"

в том, что они могут быть существенными в искомой регрессионной функции. Затем с помощью

процедуры отбора СФ, включенных в программу РA, находят их.

Описанный прием срабатывает, когда в число "подозреваемых" факторов действительно

включены все существенные факторы. Причем даже простое включение этих факторов еще не

гарантирует адекватность полученной ЭФР исходным данным [2, 3]. Возможно, что

существенные факторы должны входить в виде попарных произведений, квадратов, кубов или

других "базисных" функций. Если же структуру исходной регрессионной функции задать

слишком сложной, то обработка данных на ЭВМ станет слишком продолжительной, или даже

невозможной. Так, одно лишь включение попарных произведений факторов в структуру формулы

(1) увеличивает эту функцию на 441 член, а время расчетов - на несколько часов.

Для решения указанной проблемы в настоящем исследовании расчеты выполнялись

поэтапно. На первом этапе использовали линейные члены (просто факторы), затем методом PA

собирали значимые члены, проверяли адекватность ЭФР. Если ЭФР адекватна, расчеты

прекращали; в противном случае вектор базисных функций дополняли попарными

произведениями значимых факторов, повторяли расчеты, получали новые ЭФР и проверяли их

адекватность.

7. Проверка адекватности ЭФР. Обычно адекватность ЭФР проверяют, сравнивая

остаточную дисперсию

S с дисперсией воспроизводимости отклика

восY

S [3]. В свою очередь,

величина

восY

S может быть оценена по параллельным опытам. Таковыми могут быть только

специально спланированные опыты. При решении эконометрических задач, когда данные

являются результатами "пассивных" наблюдений, появление параллельных опытов невероятно. В

подобной ситуации проверка адекватности ЭФР обычно сводилась к проверке значимости сразу

всех коэффициентов регрессии. О качестве ЭФР судили по степени близости коэффициента

детерминации R

к единице и по тому, насколько мало среднеквадратичное отклонение (CO)

остаточной ошибки S

отклика в ЭФР по сравнению с общим CO отклика S

(напомним, что S

является остаточной ошибкой отклика в случае, когда ЭФР (1) принимает тривиальный вид Y =

В работах [3, 4] предлагается значение

восY

S оценивать по результатам близких [3] или

"пoчти параллельных" [4] опытов. Для практических расчетов в работе [4] предложено

использовать алгоритмы и программу "дисперсия воспроизводимости" (ДИВО). Это позволяет с

большой надежностью выявить неадекватную регрессионную функцию (если она на самом деле

неадекватна данным) и повторить поиск адекватной. Если же гипотеза об адекватности не

отклоняется, поиск прекращается.

Важно отметить, что понятие "адекватности" ЭФР данным является относительным. Оно

основано на предположении о том, что в исходной структуре ЭФР учтены все существенные

факторы, наблюдавшиеся в действительности. Во всякое случае, если обнаружится, что ЭФР

"адекватна" данным, то это значит, что более точную ЭФР в данных условиях получить

невозможно.

8. Стационарность регрессионных моделей. Предполагается, что технико-экономические

процессы и закономерности, описываемые с помощью ЭФP, стабильны в течение небольшого

промежутка времени (5 - 10 лет). В таких условиях применение ЭФР, полученных по данным за

последние семь лет, для экстраполяции, по-видимому, может быть предусмотрено хотя бы на

год вперед

. Это позволяет использовать найденные формулы в условиях перехода предприятий на

новые принципы организации труда. Для условий последующего года формулы необходимо

уточнять после повторной обработки данных, дополненных сведениями за истекший год.

Представительность выборки. Для того, чтобы выборка данных была

представительной, она должна быть случайной и иметь большой объем. Случайную выборку

можно получить только путем планирования рандомизированного эксперимента, что в условиях

действующего предприятия невозможно. Приходится работать с неслучайной выборкой. Большой

объем выборки (за много лет) трудно получить из-за высокой стоимости работы по сбору данных,

а также потому, что исследуемые закономерности могут существенно зависеть от времени.

Незначительная выборка (данные за небольшой период времени) может дать неточную модель.

Компромиссным решением, по мнению авторов, является выборка за последние семь лет.

10. Сериальная корреляция остатков. Эта проблема, как правило, возникает при

исследовании временных рядов, когда ошибки наблюдений коррелируют между собой на малом

временном интервале [3]. Сериальная корреляция обусловлена тем, что выборка является

неслучайной. Для проверки гипотезы об отсутствии этой корреляции использовали критерий

Дарбина - Уотсона [2]. Критический уровень значимости выбрали малым (

= 0,01), что

позволило не отклонить гипотезы об отсутствии сериальной корреляции во всех расчетах.

11. Отбор существенных факторов (СФ) при малом числе базисных функций

производится «методом всех регрессий» [3], а при большом – «методом серий» [2] (вопрос о том,

мало или велико это число определяется скоростью работы ЭВМ). Ha первых шагах расчета

методом серий в ЭФР включается по одному фактору. Если на некотором шаге m какой-либо

коэффициент оказался незначимым, то поиск СФ возвращается на n шагов (n > 1) к тому шагу, на

котором соответствующий фактор впервые был включен в регрессию. В следующей серии отбора

СФ этот фактор включается в регрессию только на шаге т + 1 – п. При п = 1 отбор СФ

прекращается. Эта процедура в сочетании с процедурой варьирования уровня значимости

позволяет получить несколько «полезных» и одну «лучшую» ЭФР.

12. Выбор критического уровня значимости. Осуществляется экспертами (здесь -