Лабоцкий В.В. Управление знаниями
Подождите немного. Документ загружается.
61
Рис. 4.6
Рис. 4.7
4.3. МНОГОФАКТОРНЫЙ ДИСПЕРСИОННЫЙ АНАЛИЗ
Пример 3
.2. Четыре группы продавцов продавали штучный товар,
каждая группа была подготовлена по определенной методике (фактор
А=1,2,3,4). Товар рекламировался по телевидению, в газете и по радио
(фактор B=1,2,3). Кроме того, он был расфасован в различные упаковки
(фактор С=1,2,3). Эксперимент повторялся дважды (R=1,2 играет роль
случайного фактора). После окончания двух сроков распродажи были
получены следующие результаты по количеству продаж: (табл. 4.2).
62
Таблица 4.2
B 1 B 2 B 3 Повтор
A 1 A 2 A 3 A 4 A 1 A 2 A 3 A 4 A 1 A 2 A 3 A 4
R 1 C 1 3 10 9 8 24 8 9 3 2 8 9 8
R 1 C 2 4 12 3 9 22 7 16 2 2 2 7 2
R 1 C 3 5 10 5 8 23 9 17 3 2 8 6 3
R 2 C 1 2 14 9 13 29 16 11 3 2 7 5 3
R 2 C 2 7 11 5 8 28 18 10 6 6 6 5 9
R 2 C 3 9 10 27 8 28 16 11 7 8 9 8 15
Фрагмент таблицы с исходными данными приведен на Рис. 4.8.
Рис. 4.8
•
В меню Statistics выберите модуль Advanced Linear/Nonlinear
Models,
задайте тип анализа Variance Components (Рис. 4.9).
63
Рис. 4.9
•
Нажмите кнопку Variables и определите переменные, как показано
на Рис. 4.10, и нажмите
OK.
Рис. 4.10
•
Нажмите OK. Появится панель Variance Components and Mixed
Model ANOVA/MANOVA Results
(Рис. 4.11). Для решения данной задачи
достаточно нажать кнопку
Summary, на экране появятся результаты
общего дисперсионного анализа (Рис. 4.12). Если эти результаты выделены
красным цветом – фактор оказывает существенное влияние. Более строго,
используя критерий Фишера или значение р-level, можно сказать, что на
64
количество продаж существенное влияние оказывают факторы A
(методика обучения), B (реклама) и AB (их совместное действие).
Рис. 4.11
Рис. 4.12
65
5. КЛАСТЕРНЫЙ АНАЛИЗ
“Любая наблюдаемая статистическая закономерность
имеет тенденцию разрушаться, как только с целью
контроля на нее оказывается давление”.
Чарльз Гудхарт
5.1. ОБЩИЕ СВЕДЕНИЯ
Кластерный анализ – один из методов многомерного анализа,
предназначенный для группировки (кластеризации) совокупности
элементов, которые характеризуются многими факторами, и получения
однородных групп (кластеров). Разбиение на кластеры происходит с
помощью некоторой метрики, например, евклидова расстояния. Задача
кластерного анализа состоит в представлении исходной информации об
элементах в сжатом виде без ее существенной потери.
Пример 4.1. Рассмотрим абстрактный пример. Двадцать банков,
акции которых котируются на рынке, предоставили следующую
информацию (табл. 5.1), где X – затраты за прошлый период, Y – прибыль
за прошлый период. Необходимо выяснить акции каких банков имеет
смысл приобрести (Buy), каких – придержать (Hold), а от каких –
избавиться (Sell).
Графическое представление исходных данных приводится на рис. 5.1.
Мы заранее облегчили работу себе
и программному пакету STATISTICA,
разбив эти данные на кластеры. Совсем не нужно обладать какими-либо
познаниями в области кластерного анализа, чтобы решить эту задачу.
Сравнивая первую (1, 20, 7,16, 8, 17, 11) и вторую группу банков (2, 15, 6,
3, 12, 19) можно сказать, что вторая группа предпочтительнее, так как при
одних и тех же затратах вторая группа получает больше прибыли.
Сравнивая первую группу банков с
третьей (4, 13, 5, 9, 10, 14, 18),
предпочтительнее первая группа, так как при одной и той же прибыли
затраты у нее меньше.
Таблица 5.1
Номер банка Затраты X Прибыль Y Рекомендация
1 4 2 Hold
2 6 10 Buy
3 5 7 Buy
4 12 3 Sell
5 17 4 Sell
6 3 10 Buy
7 6 1 Hold
8 6 3 Hold
9 15 1 Sell
10 15 4 Sell
11 5 4 Hold
66
Номер банка Затраты X Прибыль Y Рекомендация
12 3 8 Buy
13 13 5 Sell
14 15 3 Sell
15 5 9 Buy
16 8 3 Hold
17 6 4 Hold
18 14 3 Sell
19 4 8 Buy
20 4 3 Hold
Scatterplot (cluster.STA 3v*20c)
X
Y
0
2
4
6
8
10
12
0 2 4 6 8 1012141618
Рис. 5.1
Аналогичные результаты были получены с использованием пакета
STATISTICA и его модуля Cluster Analysis (рис. 5.2).
Tree Diagram for 20 Cases
Ward`s method
Euclidean distances
(Dlink/Dmax)*100
C_18
C_14
C_10
C_9
C_5
C_13
C_4
C_19
C_12
C_3
C_6
C_15
C_2
C_11
C_17
C_8
C_16
C_7
C_20
C_1
0 20 40 60 80 100 120
Рис. 5.2
67
Однако на практике не все так просто, как кажется. При решении
задач кластерного анализа приходится сталкиваться с рядом проблем:
•
элементы (в нашем случае банки) характеризуются большим
количеством факторов, которые имеют разные единицы измерения и
разные абсолютные величины, буквально не сопоставимые друг с другом и
несущие разный объем информации;
•
первоначально неизвестно число кластеров, на которое
необходимо разбить исходную совокупность элементов, и визуальные
наблюдения в многомерном случае просто не приводят к успеху;
•
какие метрики использовать в качестве меры расстояния (меры
близости) между элементами;
•
какую целевую функцию или метод использовать для объединения
элементов в кластеры.
5.2. СТАНДАРТИЗАЦИЯ ДАННЫХ
В кластерном анализе разбиение на кластеры существенно зависит от
абсолютных значений исходных данных. Эту проблему решают с
помощью стандартизации (нормировки). Для этого из всех значений по
каждому фактору вычитают выборочное среднее этого фактора и
полученные разности делят на среднее квадратическое отклонение.
.
*
s
xx
x
н
−
=
где
x
– исходное данное;
∑
=
=
n
i
i
x
n
x
1
1
– выборочное среднее;
∑
=
−
−
=
n
i
i
н
xx
n
S
1
2
)(
1
1
– среднее квадратическое отклонение.
При этом стандартизованные значения будут иметь выборочные
средние равные нулю, а выборочные дисперсии – равные единице.
Другими словами, мы все факторы свели в одну весовую категорию, как
боксеров перед соревнованиями. Для осуществления этой операции в
пакете
STATISTICA нужно вызвать модуль Data Management.
5.3. МЕТОДЫ КЛАСТЕРНОГО АНАЛИЗА
Предполагается, что матрица исходных данных имеет вид Х[n,k], где
n – количество, k – количество факторов. Поэтому при кластеризации
элементов в пакете
STATISTICA следует выбирать режим: cases (rows) –
строки, а при кластеризации факторов: variables (columns) – столбцы.
В качестве основных методов анализа пакет
STATISTICA
предлагает
Joining (tree clustering) – группу иерархических методов (7
видов), которые используются в том случае, если число кластеров заранее
68
неизвестно, и
K-Means Clustering (метод К-средних), в котором
пользователь заранее определяет количество кластеров.
В группу иерархических методов входит
Ward’s method – метод
Уорда, который хорошо работает с небольшим количеством элементов и
нацелен на выбор кластеров с примерно одинаковым количеством членов.
В качестве метрики расстояния пакет предлагает различные меры, но
наиболее употребительными являются
Euclidean distance (евклидово
расстояние)
:
∑
−=
=
k
m
lmimzi
xxxx
1
2
)(),(
ρ
,
где i, z =1,2,3…n;
либо
Squared Euclidean distance (квадратическое евклидово
расстояние)
:
∑
−=
=
k
m
lmimzi
xxxx
1
2
)(),(
ρ
.
Что касается целевой функции, то одной из наиболее
распространенной целевой функцией является внутригрупповая сумма
квадратов. При использовании такой целевой функции алгоритм
кластерного анализа может сводится к следующему: если имеется n
элементов и матрица расстояний между ними, сначала считается, что
каждый элемент есть отдельный кластер. Затем на каждом шаге
объединяются такие
два кластера, которые приводят к минимальному
увеличению целевой функции.
Многообразие алгоритмов кластерного анализа часто
дезориентирует пользователя. Поэтому он может прибегнуть к
применению нескольких алгоритмов и отдать предпочтение какому-либо
выводу на основании комплексной оценки совокупности результатов
работы.
5.4. STATISTICA. ПРОВЕРКА РЕЗУЛЬТАТОВ КОНТРОЛЬНОГО
ПРИМЕРА В CLUSTER ANALYSIS
Пример 4
.2. В этом примере будут исследованы 16 известных
инвестиционных фондов с целью оценки их состояния. В качестве
переменных используются следующие характеристики: доходность за
пятилетний период, риск, ежегодный процент дохода по каждому году,
расходная часть и налоговые рейтинги. Исходные данные об
инвестиционных фондах представлены в табл. 5.2.
69
Таблица 5.2
Fund Five Risk Per90 Per91 Per92 Per93 Per94 Expens Tax Recom
Chip
FContra
F Destiny
Vista A
Berger 100
Gab Assett
Neub Focus
F Magellan
Janus
L Mason
Gabelli Gr.
Franklin
Janus 20
AARP
Kemper
20
th
Cent G
r
16476
15476
14757
15145
15596
13640
14081
13827
13187
13029
12301
11793
12441
11728
11386
11258
2
2
3
4
5
1
3
3
2
4
3
2
4
4
4
4
10
-1
4
-1
-7
0
1
-2
-1
1
-3
3
-7
-10
-6
-8
25
21
26
20
21
22
16
25
11
12
11
7
3
16
2
15
6
16
15
13
9
15
21
7
7
11
4
3
2
5
-2
-4
55
55
39
71
89
18
25
41
43
35
34
27
69
41
67
32
4
4
-3
-6
-6
-6
-6
-5
-1
-17
-2
2
1
-16
4
0
1,22
1,03
0,7
1,49
1,7
1,33
0,85
0,96
0,91
1,82
1,41
0,77
1,02
0,97
1,09
1
89
90
69
96
95
85
75
73
85
92
80
90
95
68
86
60
Buy
Buy
Buy
Hold
Hold
Buy
Buy
Buy
Sell
Hold
Sell
Sell
Sell
Sell
Sell
Sell
•
Запустить пакет STATISTICA.
•
Открыть новый проект. Выполните команду File/New. Задайте
размерность таблицы 9 столбцов (Vars – переменных) и 14 строк (Cases –
случаи).
•
Появится электронная таблица Workbook: Spreadsheet для ввода
исходных данных и их преобразования.
•
Введите исходные данные для переменных в столбцы VAR1 и VAR9
в следующем виде (нужно добавить 6 Cases) (Рис. 5.3).
•
Затем дать команду Data/Standartize… Выбрать все переменные и
все строки. Получим стандартизованные значения исходных данных (Рис.
5.4).
70
Рис. 5.3
Рис. 5.4