Издательство: Символ-Плюс
Год издания: 2008
Страниц: 368
Описание:
Средства эффективной обработки информации в Интернете еще никогда не были настолько важны и востребованы, как сегодня. Эта книга — первое практическое руководство по программированию интеллектуальных приложений для Web2.0.
Здесь вы найдете все необходимое, чтобы научиться создавать самообучаемые программы на языке Python, которые способны собирать и анализировать огромные массивы данных, имеющиеся в Сети. Вы научитесь пользоваться алгоритмами машинного обучения, адаптируя их под свои собственные нужды. Чтобы овладеть представленным материалом, от вас не потребуется никаких специальных знаний об анализе данных, машинном обучении или математической статистике. Однако предполагается, что вы имеете достаточный опыт программирования и знакомы с основными концепциями. В каждой главе вы найдете практические примеры и задания, которые помогут вам быстро и легко освоить различные аспекты работы алгоритмов.
Оглавление
Предисловие
Введение
Благодарности
1. Введение в коллективный разум
Что такое коллективный разум
Что такое машинное обучение
Ограничения машинного обучения
Примеры из реальной жизни
Другие применения обучающих алгоритмов
2. Выработка рекомендаций
Коллаборативная фильтрация
Сбор информации о предпочтениях
Отыскание похожих пользователей
Рекомендование предметов
Подбор предметов
Построение рекомендателя ссылок с помощью API сайта del.icio.us
Фильтрация по схожести образцов
Использование набора данных MovieLens
Сравнение методов фильтрации по схожести пользователей
и по схожести образцов
Упражнения
3. Обнаружение групп
Обучение с учителем и без него
Векторы слов
Иерархическая кластеризация
Рисование дендрограммы
Кластеризация столбцов
Кластеризация методом K-средних
Кластеры предпочтений
Просмотр данных на двумерной плоскости
Что еще можно подвергнуть кластеризации
Упражнения
4. Поиск и ранжирование
Что такое поисковая машина
Простой паук
Построение индекса
Запросы
Ранжирование по содержимому
Использование внешних ссылок на сайт
Обучение на основе действий пользователя
Упражнения
5. Оптимизация
Групповые путешествия
Представление решений
Целевая функция
Случайный поиск
Алгоритм спуска с горы
Алгоритм имитации отжига
Генетические алгоритмы
Поиск реальных авиарейсов
Оптимизация с учетом предпочтений
Визуализация сети
Другие возможности
Упражнения
6. Фильтрация документов
Фильтрация спама
Документы и слова
Обучение классификатора
Вычисление вероятностей
Наивная классификация
Метод Фишера
Сохранение обученных классификаторов
Фильтрация блогов
Усовершенствование алгоритма обнаружения признаков
Использование службы Akismet
Альтернативные методы
Упражнения
7. Моделирование с помощью деревьев решений
Прогнозирование количества регистраций
Введение в теорию деревьев решений
Обучение дерева
Выбор наилучшего разбиения
Рекурсивное построение дерева
Отображение дерева
Классификация новых наблюдений
Отсечение ветвей дерева
Восполнение отсутствующих данных
Числовые результаты
Моделирование цен на недвижимость
Моделирование степени привлекательности
В каких случаях применять деревья решений
Упражнения
8. Построение ценовых моделей
Построение демонстрационного набора данных
Алгоритм k-ближайших соседей
Взвешенные соседи
Перекрестный контроль
Гетерогенные переменные
Оптимизация масштаба
Неравномерные распределения
Использование реальных данных – API сайта eBay
В каких случаях применять метод k-ближайших соседей
Упражнения
9. Более сложные способы классификации: ядерные методы и машины опорных векторов
Набор данных для подбора пар
Затруднения при анализе данных
Простая линейная классификация
Категориальные свойства
Масштабирование данных
Идея ядерных методов
Метод опорных векторов
Библиотека LIBSVM
Подбор пар на сайте Facebook
Упражнения
10. Выделение независимых признаков
Массив новостей
Прошлые подходы
Неотрицательная матричная факторизация
Вывод результатов
Использование данных о фондовом рынке
Упражнения
11. Эволюционирующий разум
Что такое генетическое программирование
Программы как деревья
Создание начальной популяции
Проверка решения
Мутация программ
Скрещивание
Построение окружающей среды
Простая игра
Направления развития
Упражнения
12. Сводка алгоритмов
Байесовский классификатор
Классификатор на базе деревьев решений
Нейронные сети
Метод опорных векторов
k-ближайшие соседи
Кластеризация
Многомерное шкалирование
Неотрицательная матричная факторизация
Оптимизация
Приложения
А. Дополнительные библиотеки
В. Математические формулы
Алфавитный указатель
Обзор глав
Каждый алгоритм, рассматриваемый в этой книге, посвящен конкрет-
ной задаче, которая, как я надеюсь, будет понятна всем читателям.
Я старался избегать задач, требующих обширных знаний в предметной
области, и отбирал такие, которые, несмотря на сложность, ассоцииру-
ются с чем-то знакомым большинству людей.
Глава 1 «Введение в коллективный разум»
Разъясняются идеи, лежащие в основе машинного обучения, его
применение в различных областях и способы, позволяющие с его
помощью делать выводы из данных, полученных от многих людей.
Глава 2 «Выработка рекомендаций»
Дается введение в методику коллаборативной фильтрации, кото-
рая применяется во многих онлайновых магазинах для рекомендо-
вания товаров или мультимедийной продукции. Включен также
раздел о рекомендовании ссылок на социальном сайте хранения за-
кладок и о построении системы рекомендования кинофильмов на
основе анализа набора данных MovieLens.
Глава 3 «Обнаружение групп»
Развивает идеи, изложенные в главе 2, и знакомит с двумя метода-
ми кластеризации, позволяющими автоматически обнаруживать
группы сходных элементов в большом наборе данных. Демонстри-
руется применение кластеризации для отыскания групп во множес-
тве популярных блогов и во множестве пожеланий, высказанных
посетителями сайта социальной сети.
Глава 4 «Поиск и ранжирование»
Описываются различные компоненты поисковой машины, в том
числе паук, индексатор, механизм обработки запросов. Рассмотрен
алгоритм ранжирования страниц на основе ведущих на них ссылок,
PageRank, и показано, как создать нейронную сеть, которая обуча-
ется тому, какие ключевые слова ассоциированы с различными ре-
зультатами.
Глава 5 «Оптимизация»
Содержит введение в алгоритмы оптимизации, предназначенные
для отбора наилучшего решения задачи из миллионов возможных.
Широта области применения подобных алгоритмов демонстрирует-
ся на примерах поиска оптимальных авиарейсов для группы людей,
направляющихся в одно и то же место, оптимального способа рас-
пределения студентов по комнатам в общежитии и вычерчивания
сети с минимальным числом пересекающихся линий.
Глава 6 «Фильтрация документов»
Демонстрируется методика байесовской фильтрации, которая ис-
пользуется во многих бесплатных коммерческих системах фильтра-
ции спама для автоматической классификации документов по ти-
пам слов и другим обнаруживаемым свойствам. Описанный подход
применим ко множеству результатов поиска по RSS-каналам с це-
лью автоматической классификации найденных записей.
Глава 7 «Моделирование с помощью деревьев решений»
Содержит введение в теорию деревьев решений, которая позволяет
не только делать прогнозы, но и моделировать способ принятия ре-
шений. Первое дерево решений строится на основе гипотетических
данных, взятых из протоколов сервера, и используется для того,
чтобы предсказать, оформит ли пользователь премиальную подпис-
ку. В остальных примерах взяты данные с реальных сайтов для мо-
делирования цен на недвижимость и оценки степени привлекатель-
ности различных людей.
Глава 8 «Построение ценовых моделей»
Описывается подход к решению задачи предсказания числовых
значений, а не классификации. Для этого применяется метод k-бли-
жайших соседей и алгоритмы оптимизации из главы
5. Эти методы
в сочетании с eBay API используются для построения системы про-
гнозирования окончательной цены на торгах исходя из некоторого
набора свойств.
Глава 9 «Более сложные способы классификации: ядерные методы
и машины опорных векторов»
Показано, как можно использовать метод опорных векторов для
подбора пар на сайтах знакомств или в системах подбора профессио-
нальных кадров. Машины опорных векторов – довольно сложная
техника, она сравнивается с альтернативными методиками.
Глава 10 «Выделение независимых признаков»
Содержит введение в сравнительно новую методику – неотрицатель-
ную матричную факторизацию, которая применяется для поиска
независимых признаков в наборе данных. Часто элементы набора
данных представляют собой конгломерат различных заранее неиз-
вестных признаков. Данная методика позволяет распознать эти
признаки. Описанная техника демонстрируется на примере набора
новостей, когда одна или несколько тем новости выводятся из ее
текста.
Глава 11 «Эволюционирующий разум»
Содержит введение в генетическое программирование – весьма про-
двинутую теорию, которая выходит за рамки оптимизации и позво-
ляет фактически строить алгоритмы решения задачи, основанные
на идее эволюции. В качестве примера рассматривается простая иг-
ра, в которой компьютер изначально играет плохо, но постепенно
модифицирует свой код, и чем больше игр сыграно, тем совершен-
нее его умение.
Глава 12 «Сводка алгоритмов»
Обзор всех алгоритмов машинного обучения и статистической обра-
ботки, рассмотренных в этой книге. Выполняется также их сравне-
ние в плане применимости к решению нескольких искусственных
задач. Это поможет вам понять, как они работают, и визуально про-
следить, как каждый алгоритм производит разбиение данных.
Приложение А «Дополнительные библиотеки»
Приводится информация о дополнительных библиотеках, исполь-
зованных в этой книге: где их найти и как установить.
Приложение B «Математические формулы»
Представлены формулы, описания и код для многих математичес-
ких понятий, встречающихся на страницах настоящей книги.
Упражнения в конце каждой главы содержат идеи о том, как обобщить
описанные алгоритмы и сделать их более мощными.
Год издания: 2008
Страниц: 368
Описание:
Средства эффективной обработки информации в Интернете еще никогда не были настолько важны и востребованы, как сегодня. Эта книга — первое практическое руководство по программированию интеллектуальных приложений для Web2.0.
Здесь вы найдете все необходимое, чтобы научиться создавать самообучаемые программы на языке Python, которые способны собирать и анализировать огромные массивы данных, имеющиеся в Сети. Вы научитесь пользоваться алгоритмами машинного обучения, адаптируя их под свои собственные нужды. Чтобы овладеть представленным материалом, от вас не потребуется никаких специальных знаний об анализе данных, машинном обучении или математической статистике. Однако предполагается, что вы имеете достаточный опыт программирования и знакомы с основными концепциями. В каждой главе вы найдете практические примеры и задания, которые помогут вам быстро и легко освоить различные аспекты работы алгоритмов.
Оглавление
Предисловие
Введение
Благодарности
1. Введение в коллективный разум
Что такое коллективный разум
Что такое машинное обучение
Ограничения машинного обучения
Примеры из реальной жизни
Другие применения обучающих алгоритмов
2. Выработка рекомендаций
Коллаборативная фильтрация
Сбор информации о предпочтениях
Отыскание похожих пользователей
Рекомендование предметов
Подбор предметов
Построение рекомендателя ссылок с помощью API сайта del.icio.us
Фильтрация по схожести образцов
Использование набора данных MovieLens
Сравнение методов фильтрации по схожести пользователей
и по схожести образцов
Упражнения
3. Обнаружение групп
Обучение с учителем и без него
Векторы слов
Иерархическая кластеризация
Рисование дендрограммы
Кластеризация столбцов
Кластеризация методом K-средних
Кластеры предпочтений
Просмотр данных на двумерной плоскости
Что еще можно подвергнуть кластеризации
Упражнения
4. Поиск и ранжирование
Что такое поисковая машина
Простой паук
Построение индекса
Запросы
Ранжирование по содержимому
Использование внешних ссылок на сайт
Обучение на основе действий пользователя
Упражнения
5. Оптимизация
Групповые путешествия
Представление решений
Целевая функция
Случайный поиск
Алгоритм спуска с горы
Алгоритм имитации отжига
Генетические алгоритмы
Поиск реальных авиарейсов
Оптимизация с учетом предпочтений
Визуализация сети
Другие возможности
Упражнения
6. Фильтрация документов
Фильтрация спама
Документы и слова
Обучение классификатора
Вычисление вероятностей
Наивная классификация
Метод Фишера
Сохранение обученных классификаторов
Фильтрация блогов
Усовершенствование алгоритма обнаружения признаков
Использование службы Akismet
Альтернативные методы
Упражнения
7. Моделирование с помощью деревьев решений
Прогнозирование количества регистраций
Введение в теорию деревьев решений
Обучение дерева
Выбор наилучшего разбиения
Рекурсивное построение дерева
Отображение дерева
Классификация новых наблюдений
Отсечение ветвей дерева
Восполнение отсутствующих данных
Числовые результаты
Моделирование цен на недвижимость
Моделирование степени привлекательности
В каких случаях применять деревья решений
Упражнения
8. Построение ценовых моделей
Построение демонстрационного набора данных
Алгоритм k-ближайших соседей
Взвешенные соседи
Перекрестный контроль
Гетерогенные переменные
Оптимизация масштаба
Неравномерные распределения
Использование реальных данных – API сайта eBay
В каких случаях применять метод k-ближайших соседей
Упражнения
9. Более сложные способы классификации: ядерные методы и машины опорных векторов
Набор данных для подбора пар
Затруднения при анализе данных
Простая линейная классификация
Категориальные свойства
Масштабирование данных
Идея ядерных методов
Метод опорных векторов
Библиотека LIBSVM
Подбор пар на сайте Facebook
Упражнения
10. Выделение независимых признаков
Массив новостей
Прошлые подходы
Неотрицательная матричная факторизация
Вывод результатов
Использование данных о фондовом рынке
Упражнения
11. Эволюционирующий разум
Что такое генетическое программирование
Программы как деревья
Создание начальной популяции
Проверка решения
Мутация программ
Скрещивание
Построение окружающей среды
Простая игра
Направления развития
Упражнения
12. Сводка алгоритмов
Байесовский классификатор
Классификатор на базе деревьев решений
Нейронные сети
Метод опорных векторов
k-ближайшие соседи
Кластеризация
Многомерное шкалирование
Неотрицательная матричная факторизация
Оптимизация
Приложения
А. Дополнительные библиотеки
В. Математические формулы
Алфавитный указатель
Обзор глав
Каждый алгоритм, рассматриваемый в этой книге, посвящен конкрет-
ной задаче, которая, как я надеюсь, будет понятна всем читателям.
Я старался избегать задач, требующих обширных знаний в предметной
области, и отбирал такие, которые, несмотря на сложность, ассоцииру-
ются с чем-то знакомым большинству людей.
Глава 1 «Введение в коллективный разум»
Разъясняются идеи, лежащие в основе машинного обучения, его
применение в различных областях и способы, позволяющие с его
помощью делать выводы из данных, полученных от многих людей.
Глава 2 «Выработка рекомендаций»
Дается введение в методику коллаборативной фильтрации, кото-
рая применяется во многих онлайновых магазинах для рекомендо-
вания товаров или мультимедийной продукции. Включен также
раздел о рекомендовании ссылок на социальном сайте хранения за-
кладок и о построении системы рекомендования кинофильмов на
основе анализа набора данных MovieLens.
Глава 3 «Обнаружение групп»
Развивает идеи, изложенные в главе 2, и знакомит с двумя метода-
ми кластеризации, позволяющими автоматически обнаруживать
группы сходных элементов в большом наборе данных. Демонстри-
руется применение кластеризации для отыскания групп во множес-
тве популярных блогов и во множестве пожеланий, высказанных
посетителями сайта социальной сети.
Глава 4 «Поиск и ранжирование»
Описываются различные компоненты поисковой машины, в том
числе паук, индексатор, механизм обработки запросов. Рассмотрен
алгоритм ранжирования страниц на основе ведущих на них ссылок,
PageRank, и показано, как создать нейронную сеть, которая обуча-
ется тому, какие ключевые слова ассоциированы с различными ре-
зультатами.
Глава 5 «Оптимизация»
Содержит введение в алгоритмы оптимизации, предназначенные
для отбора наилучшего решения задачи из миллионов возможных.
Широта области применения подобных алгоритмов демонстрирует-
ся на примерах поиска оптимальных авиарейсов для группы людей,
направляющихся в одно и то же место, оптимального способа рас-
пределения студентов по комнатам в общежитии и вычерчивания
сети с минимальным числом пересекающихся линий.
Глава 6 «Фильтрация документов»
Демонстрируется методика байесовской фильтрации, которая ис-
пользуется во многих бесплатных коммерческих системах фильтра-
ции спама для автоматической классификации документов по ти-
пам слов и другим обнаруживаемым свойствам. Описанный подход
применим ко множеству результатов поиска по RSS-каналам с це-
лью автоматической классификации найденных записей.
Глава 7 «Моделирование с помощью деревьев решений»
Содержит введение в теорию деревьев решений, которая позволяет
не только делать прогнозы, но и моделировать способ принятия ре-
шений. Первое дерево решений строится на основе гипотетических
данных, взятых из протоколов сервера, и используется для того,
чтобы предсказать, оформит ли пользователь премиальную подпис-
ку. В остальных примерах взяты данные с реальных сайтов для мо-
делирования цен на недвижимость и оценки степени привлекатель-
ности различных людей.
Глава 8 «Построение ценовых моделей»
Описывается подход к решению задачи предсказания числовых
значений, а не классификации. Для этого применяется метод k-бли-
жайших соседей и алгоритмы оптимизации из главы
5. Эти методы
в сочетании с eBay API используются для построения системы про-
гнозирования окончательной цены на торгах исходя из некоторого
набора свойств.
Глава 9 «Более сложные способы классификации: ядерные методы
и машины опорных векторов»
Показано, как можно использовать метод опорных векторов для
подбора пар на сайтах знакомств или в системах подбора профессио-
нальных кадров. Машины опорных векторов – довольно сложная
техника, она сравнивается с альтернативными методиками.
Глава 10 «Выделение независимых признаков»
Содержит введение в сравнительно новую методику – неотрицатель-
ную матричную факторизацию, которая применяется для поиска
независимых признаков в наборе данных. Часто элементы набора
данных представляют собой конгломерат различных заранее неиз-
вестных признаков. Данная методика позволяет распознать эти
признаки. Описанная техника демонстрируется на примере набора
новостей, когда одна или несколько тем новости выводятся из ее
текста.
Глава 11 «Эволюционирующий разум»
Содержит введение в генетическое программирование – весьма про-
двинутую теорию, которая выходит за рамки оптимизации и позво-
ляет фактически строить алгоритмы решения задачи, основанные
на идее эволюции. В качестве примера рассматривается простая иг-
ра, в которой компьютер изначально играет плохо, но постепенно
модифицирует свой код, и чем больше игр сыграно, тем совершен-
нее его умение.
Глава 12 «Сводка алгоритмов»
Обзор всех алгоритмов машинного обучения и статистической обра-
ботки, рассмотренных в этой книге. Выполняется также их сравне-
ние в плане применимости к решению нескольких искусственных
задач. Это поможет вам понять, как они работают, и визуально про-
следить, как каждый алгоритм производит разбиение данных.
Приложение А «Дополнительные библиотеки»
Приводится информация о дополнительных библиотеках, исполь-
зованных в этой книге: где их найти и как установить.
Приложение B «Математические формулы»
Представлены формулы, описания и код для многих математичес-
ких понятий, встречающихся на страницах настоящей книги.
Упражнения в конце каждой главы содержат идеи о том, как обобщить
описанные алгоритмы и сделать их более мощными.