Пантелеев Е.Р. Методические указания для лабораторного практикума

Подождите немного. Документ загружается.

Номер

с/х рай-

она

Х1 Х2 Х3 Х4 Х5

18 0,09 0,22 0,05 0,43 0,20

19 0,08 0,25 0,03 0,73 0,20

20 1,36 0,26 0,17 0,99 0,42

Задание 2

В таблице представлены общие затраты на рубль товар-

ной продукции (X1) и фондоотдача (X2) по 10 предприятиям.

Номер предпри-

ятия

X1 X2

1 0,92 0,51

2 0,93 0,59

3 0,83 1,03

4 0,81 1,21

5 0,95 0,63

6 0,88 0,68

7 0,89 0,57

8 0,80 1,52

9 0,72 1,04

10 0,82 0,99

Задание 3

Условия жизни населения 10 стран характеризуются

тремя показателями: X1 – оценка ВВП по паритету покупатель-

ной способности на душу населения (в % к США); X2 – расходы

на здравоохранение (в % от ВВП); X3 – численность врачей на

10000 населения.

Страна X1 X2 X3

Россия 20,4 3,2 44,5

Австралия 71,4 8,5 32,5

Австрия 78,7 9,2 33,9

Азербайджан 12,1 3,3 38,8

Армения 10,9 3,2 34,4

Белоруссия 20,4 5,4 43,6

Бельгия 79,7 8,9 41

Болгария 17,3 5,4 36,4

Великобритания 69,7 7,1 17,9

Венгрия 24,5 6 32,1

Задание 4

Уровень цен в 12 городах сравнивался по следующим

видам продовольственных товаров: говядина (X1), растительное

масло (X2), сахар-песок (X3) и хлеб белый в/с (X4). Статистиче-

ские данные по ценам (в руб.) представлены в таблице.

Город X1 X2 X3 X4

Брянск 12500 7726 3410 4875

Владимир 13857 7880 3183 7125

Иваново 14150 6128 3209 4998

Калуга 12697 8237 3400 5170

Кострома 13000 8750 3600 5476

Москва 14120 11024 4418 6466

Орел 10678 8456 3634 4200

Рязань 12163 9172 4033 4720

Смоленск 12833 8320 3909 4354

Тверь 14400 7083 3416 5440

Тула 12083 8259 3486 5140

Ярославль 14379 7991 3938 5283

Задание 5

Собраны статистические данные федеральных округов

России в 2000 году по следующим относительным показателям:

Х1 - оборот розничной торговли на душу населения; X2 - объем

платных услуг на душу населения; X3 - объем бытовых услуг на

душу населения; X4 - объем инвестиций в основной капитал на

душу населения; X5 - денежные доходы на душу населения:

Федеральный округ Х1 X2 X3 X4 X5

Центральный округ 26663 6868 971 8097 3279

Северо-западный округ 14747 4044 461 8019 2170

Южный округ 10130 3244 429 5960 1329

Приволжский округ 11891 1902 554 5985 1624

Уральский округ 13234 2631 426 20848 2558

Сибирский округ 12192 2328 484 4504 1766

Дальневосточный округ 13086 3673 458 7082 2228

Отчет должен содержать:

• Данные, на основании которых сделаны выводы о размерно-

сти нового признакового пространства и дана содержательная

интерпретация главных компонент, оставленных в рассмотре-

нии.

• Графическое представление объектов в пространстве вы-

бранной мерности.

• Таблицу проведенной ранжировки.

• Характеристика предложенной для анализа совокупности

объектов на основании полученных результатов.

Вопросы для самоконтроля

• На основании каких данных сделан вывод о размерности но-

вого признакового пространства? Что обозначают эти данные?

• Почему было оставлено в рассмотрении n главных компо-

нент, а не n+1, ведь большее признаковое пространство дает

большее значение критерия

информативности?

• На основании каких факторов главной компоненте придается

определенный содержательный смысл? Всегда ли это возмож-

но?

• О чем свидетельствует отрицательный знак одного из коэф-

фициентов в уравнении для главной компоненты?

• Чем, по сравнению с другими объектами, характеризуется та

или иная группа объектов на новом признаковом пространстве?

•

Чему соответствует первенство того или иного объекта в

списке ранжировки?

РАБОТА 2. КЛАСТЕРНЫЙ АНАЛИЗ

Краткая характеристика

В процессе решения широкого круга социально-

экономических, исследовательских и управленческих задач,

возникает необходимость классификации объектов, явлений,

систем. В самой общей формулировке под классификацией по-

нимается разделение рассматриваемой совокупности объектов

или явлений на однородные в определенном смысле

группы,

либо отнесение каждого объекта из заданного классифицируе-

мого множества к одному из заранее известных классов.

Если в распоряжении исследователя имеются обучаю-

щие выборки, то решается задача классификации. Для решения

задачи при наличии обучения используются методы дискрими-

нантного анализа. Если же исследователь не имеет в своем

распоряжении обучающих выборок, то

говорят о задаче класси-

фикации без обучения и пользуются методами кластерного ана-

лиза. Среди них наиболее распространены методы, оперирую-

щие характеристиками геометрической структуры множества

классифицируемых наблюдений и понятием критерия качества

классификации.

Критерий качества кластеризации в той или иной мере

отражает следующие неформальные требования: внутри групп

объекты должны быть тесно связаны между собой; объекты

разных групп должны быть далеки друг от друга; при прочих

равных условиях распределение объектов по группам должно

быть равномерным.

Пример анализа

Лабораторная работа по кластерному анализу выполня-

ется

на демонстрационной версии статистического пакета «Stat-

graphics Plus 5.0». В качестве примера рассмотрим исследова-

ние 16-и инвестиционных фондов по следующим характеристи-

кам: доходность за пятилетний период (Five_Yr), риск (Risk),

ежегодный процент дохода для каждого года (Perf90, Perf91,

Perf92, Perf93, Perf94), расходная часть (Expense) и налоговый

рейтинг (Tax). Ниже приводится таблица с исходными статисти-

ческими данными.

Таблица 2. Исходные статистические данные

Fund

Five_Yr

Risk

Perf90

Perf91

Perf92

Perf93

Perf94

Expense

Tax

F. Chip 16476 2 10 25 6 55 4 1,22 89

F. Contra 15476 2 -1 21 16 55 4 1,03 90

F. Destiny 14757 3 4 26 15 39 -3 0,70 69

Vista A 15145 4 -1 20 13 71 -6 1,49 96

Berger 100 15596 5 -7 21 9 89 -6 1,70 95

Gab. Assett 13640 1 0 22 15 18 -6 1,33 85

Neub. Focus 14081 3 1 16 21 25 -6 0,85 75

F. Magellan 13827 3 -2 25 7 41 -5 0,96 73

Janus 13187 2 -1 11 7 43 -1 0,91 85

L. Mason Value 13029 4 1 12 11 35 -17 1,82 92

Gabelli Growth 12301 3 -3 11 4 34 -2 1,41 80

Franklin Growth 11793 2 3 7 3 27 2 0,77 90

Janus 20 12441 4 -7 3 2 69 1 1,02 95

AARP Capital 11728 4 -10 16 5 41 -16 0,97 68

Kemper Growth A 11386 4 -6 2 -2 67 4 1,09 86

20th Cent. Growth 11258 4 -8 15 -4 32 0 1 60

Исследование начинается с ввода исходных статистиче-

ских данных в новую электронную таблицу. Таблица организо-

вана таким образом, что ее строкам должны соответствовать

объекты (наблюдения), а столбцам – признаки. Для именования

переменных (признаков) и задания их типа нужно маркировать

требуемую колонку и, щелкнув правой кнопкой мыши, выбрать

команду контекстного меню «Modify Column». В появившемся

окне диалога нужно указать требуемые параметры.

После ввода данных можно приступить непосредственно

к кластерному анализу, выбрав следующий пункт меню:

«Special/Multivariate Methods/Cluster Analysis…». Система ото-

бразит окно диалога для ввода данных в

кластерный анализ

(рис. 2.1). Анализируемые переменные необходимо переместить

в поле «Data», а наименования объектов – в поле «Point Labels».

После нажатия кнопки «Ok» система выдаст окно с первичной

сводкой кластерного анализа, проведенного по параметрам, вы-

бранным по умолчанию.

Рис. 2.1. Пример заполнения окна диалога ввода данных

Данные параметры необходимо уточнять в соответствии

с заданием. Вызов окна диалога для указания параметров кла-

стерного анализа осуществляется нажатием правой кнопки мы-

ши и выбором пункта контекстного меню «Analysis Options…»

(рис. 2.2). Здесь необходимо задать определенную метрику

(Euclidean – обычная евклидова метрика); метод (Nearest

Neighbor – ближайшего соседа, Furthest Neighbor – дальнего со-

седа, Centroid – центра тяжести, Croup Average – средней связи)

и число кластеров. Также необходимо решить вопрос о норма-

лизации в алгоритме (поле Standardize).

Рис. 2.2. Окно диалога для выбора параметров анализа

Анализ работы того или иного алгоритма осуществляет-

ся по ряду табличных и графических представлений. Нажав

кнопку графических опций (третью слева в верхней части окна

анализа), можно выбрать следующие варианты графического

представления результатов кластер-анализа:

• дендограмма («Dendogram») – дает наглядное представле-

ние обо всех шагах работы агломеративного алгоритма и ото-

бражает иерархическую структуру

группирования объектов;

• двухмерная и трехмерная диаграммы рассеяния («2D Scat-

terplot, 3D Scatterplot) – служат для представления объектов в

соответствующем признаковом пространстве с визуализацией

разбиения на заданное число классов.

На основании данных представлений решается вопрос о

наиболее адекватном разбиении объектов на классы для каждо-

го алгоритма. На рисунке 2.3 приведена дендограмма, получен-

ная для нашего примера методом

дальнего соседа для одного

кластера при стандартной евклидовой метрике. Ее анализ по-

зволяет нам остановиться на количестве кластеров, равном

трем. При этом необходимо уточнить параметры кластерного

анализа (рис. 2.2). В соответствие с введенными изменениями

будут произведены табличные преобразования.

В табличной сводке кластерного анализа (рис. 2.4)

(«Analysis Summary») указываются: число кластеров, населен-

ность кластеров и координаты центроидов, которые, в частно-

сти, используются для содержательного описания конкретного

кластера. Так переменные, представляющие 2-ой кластер, гово-

рят о том, что здесь имелись наибольшие

расходы. Кроме того,

оценка риска и налоговый рейтинг также являются максималь-

ными среди всех кластеров.

В таблице принадлежности наблюдений («Membership

Table») дается их полный список с указанием номеров класте-

ров, в которые входят указанные наблюдения (рис. 2.5).

И наконец, таблица работы агломеративного алгоритма

(«Agglomeration Schedule») иллюстрирует пошаговое объедине-

ние объектов в кластеры с указанием расстояния

(в принятой

метрике), на котором происходит то или иное объединение.

В завершение анализа представим полученное разбие-

ние на двухмерной диаграмме рассеяния (рис. 2.6). Диаграмма

показывает как группируются исследуемые наблюдения на

плоскости двух переменных (Expense и Five_Yr). Каждый кла-

стер представлен на диаграмме собственным символом и цве-

том. На данном графическом представлении наглядно видно

преимущественное положение первого кластера, имеющего

сравнимый с третьим кластером низкий уровень расходов и

сравнимые со вторым кластером высокие пятилетние доходы.

Несмотря на наглядность и удобство, предоставляемые подоб-

ным графическим отображением, необходимо помнить о том,

что количество переменных, по которым проводится анализ,

может оказаться больше 2-х или 3-х, и получить полную инфор

мацию о распределении объектов на диаграмме рассеяния ста-

нет невозможно.

Рис. 2.3. Дендограмма, полученная для одного кластера

Рис. 2.4. Сводка кластерного анализа (Analysis Summary)

Рис. 2.5. Таблица принадлежности наблюдений к кластерам

Рис. 2.6. Двухмерная диаграмма рассеяния

Задания

Имеются данные, представляющие собой статистиче-

ское обследование множества объектов по ряду характеризую-

щих их признаков. Требуется:

• С помощью иерархического агломеративного алгоритма про-

вести классификацию объектов при использовании обычной

евклидовой метрики – методом: а) «ближайшего соседа»;

б) «дальнего соседа»; в) «центра тяжести»; г) «средней связи».

На основании анализа полученных дендограмм

и диаграмм рас-

сеяния для каждого алгоритма выбрать предпочтительное раз-

биение объектов на кластеры.

• Используя наиболее устойчивое разбиение из всех четырех

вариантов, а также априорные представления об исследуемой

совокупности, вынести окончательное решение о разбиении

объектов на классы.

• По результатам кластер-анализа дать характеристику каждо-

му сформированному классу.

Задание 1

Уровень жизни населения двадцати стран за 1994 г. ха-

рактеризуется следующими показателями: X1 – потребление

мяса и мясопродуктов на душу населения, кг; Х2 – смертность

населения по причине болезни органов кровообращения на

100000 населения; Х3 – оценка ВВП по паритету покупательной

способности на душу населения (в % к США); Х4 – расходы на

здравоохранение (в % от ВВП); Х5 –

потребление фруктов и

ягод на душу населения, кг; Х6 – потребление хлебопродуктов

на душу населения, кг.

Страна X1 X2 X3 X4 X5 X6

Россия 55 84,98 20,4 3,2 28 124

Австралия 100 30,58 71,4 8,5 121 87

Австрия 93 38,42 78,7 9,2 146 74

Азербайджан 20 60,34 12,1 3,3 52 141

Армения 20 60,22 10,9 3,2 72 134

Белоруссия 72 60,7 20,4 5,4 38 120

Бельгия 85 29,82 79,7 8,3 83 72

Болгария 65 70,57 17,3 5,4 92 156

Великобритания 67 34,51 69,7 7,1 91 91

Венгрия 73 64,73 24,5 6 73 106

Германия 88 36,63 76,2 8,6 138 73

Греция 83 32,84 44,44 5,7 99 108

Грузия 21 62,64 11,3 3,5 55 140

Дания 98 34,07 79,2 6,7 89 77

Ирландия 99 39,27 57 6,7 87 102

Пантелеев Е.Р. Методические указания для лабораторного практикума - Интеллектуальный анализ данных

Подождите немного. Документ загружается.