Алгоритмы для Интернета. Лекция 09. Оценка систем информационного поиска (+ аудио)

СПб.: СПбГУ ИТМО, Некрестьянов И.С., 2006 г. Курс лекций «Алгоритмы для Интернета» прочитан в Санкт-Петербургском государственном университете в 2006 г. Материал включает в себя презентацию (56 слайдов) и аудиозапись лекции. Зачем оценивать?
Что оценивать?
Критерии оценки.
Метрики на множествах.
Микро- и Макро- усреднение.
Метрики на последовательностях.
Метрики: пример.
11-точечный график TREC.
Способы оценки.
Что такое «хороший» ответ?
Релевантность.
Релевантность: классификация по Mizzaro.
Ось: Информационные ресурсы.
Ось: Информационная потребность.
Информационная потребность.
Ось: Контекст.
Ось: Время.
Лабораторная парадигма оценки.
Базовый подход.
TREC/CLEF/РОМИП/…
Коллекции РОМИП’2006.
Пример: коллекция Narod.Ru.
Дорожки РОМИП’2006. Метод «общего котла» (pooling).
Метод «общего котла».
Выгода от совместной оценки.
Можно ли верить выводам?
Оценка стабильности.
Стабильность выводов с увеличением числа заданий. Роль асессора.
История неудачного эксперимента.
Инструмент оценки. Результат.
Рецепт: оценка самостоятельно.
Сравнение поисковых систем в Веб.
Как сравнить размеры?
Немного математики. Как оценить размер Веб?
Детали реализации
Есть ли URL в индексе?
Развитие «наивного» подхода.
Пример результата оценки.