Статья
  • формат audio, ppt
  • размер 40,47 МБ
  • добавлен 04 ноября 2012 г.
Алгоритмы для Интернета. Лекция 09. Оценка систем информационного поиска (+ аудио)
СПб.: СПбГУ ИТМО, Некрестьянов И.С., 2006 г.
Курс лекций «Алгоритмы для Интернета» прочитан в Санкт-Петербургском государственном университете в 2006 г. Материал включает в себя презентацию (56 слайдов) и аудиозапись лекции.
Зачем оценивать?
Что оценивать?
Критерии оценки.
Метрики на множествах.
Микро- и Макро- усреднение.
Метрики на последовательностях.
Метрики: пример.
11-точечный график TREC.
Способы оценки.
Что такое «хороший» ответ?
Релевантность.
Релевантность: классификация по Mizzaro.
Ось: Информационные ресурсы.
Ось: Информационная потребность.
Информационная потребность.
Ось: Контекст.
Ось: Время.
Лабораторная парадигма оценки.
Базовый подход.
TREC/CLEF/РОМИП/…
Коллекции РОМИП’2006.
Пример: коллекция Narod.Ru.
Дорожки РОМИП’2006. Метод «общего котла» (pooling).
Метод «общего котла».
Выгода от совместной оценки.
Можно ли верить выводам?
Оценка стабильности.
Стабильность выводов с увеличением числа заданий. Роль асессора.
История неудачного эксперимента.
Инструмент оценки. Результат.
Рецепт: оценка самостоятельно.
Сравнение поисковых систем в Веб.
Как сравнить размеры?
Немного математики. Как оценить размер Веб?
Детали реализации
Есть ли URL в индексе?
Развитие «наивного» подхода.
Пример результата оценки.
Похожие разделы