RSDN MAGAZINE. Издательство: К-Пресс (Москва). ISSN: 0234-6621;
Номер: 1; Год: 2014; Страницы: 36-40
В приведенном обзоре рассмотрены некоторые методы поиска нечетких
дубликатов видео, их преимущества и недостатки. На основе
структурного представления видео построена комбинация методов и
предложен дескриптор съёмки.
Ключевые слова: MSA; SIFT; алгоритм Гейла-Черча;
анализ видео;видео-поиск; визуальные слова; визуальные слова;
гистограммацвета; гистограмма яркости; дерево направляющее;
деревосъёмок; дескриптор съёмки; детектора Харриса; ДНК; кадрик;
кадрключевой; кадр опорный; кадр фотографический; кадры;
локально-чувствительное хеширование; монтажный план;
направляющеедерево; нечеткие дубликаты видео; подпись движения;
порядковаямера; прогрессивное выравнивание; суффиксный массив;
сцены;съёмки; фотографический кадр.
Реферат
Методы поиска нечетких дубликатов реализуют следующие шаги.
Видео делят на отрезки.
Из каждого отрезка выделяют ключевые кадры.
Для представления ключевых кадров извлекают последовательности в которых содержатся характеристики кадров. Характеристики ключевых кадров используются для представления всего видео.
Подобие между видео как подобие вычисляют наборов характеристик ключевых кадров.
Различают методы, использующие глобальные характеристики (ГХ) и методы, использующие локальные характеристики (ЛХ). ЛХ‑методы сводят задачу поиска похожих видео к задаче поиска дубликатов изображений. В работе рассмотрены ЛХ‑методы:
отслеживание траекторий особых точек кадра, сравнение особых точек ключевых кадров, сравнение визуальных «видео‑слов» по частотным словарям ГХ‑методы моделируют пространственную, цветовую и временную информацию кадров и сцен видео. Сходство между видео из запроса и видео из базы определяется как соответствие подписей (сигнатур) видео. Глобальные характеристики полезны, для поиска «почти одинаковых» видео и могут выявить незначительные правки в пространственно‑временной области. В работе рассмотрено несколько способов формирования подписей для ГХ‑методов:
локально‑чувствительное хеширование; использование порядковой меры; представление видео как последовательности геномов (ДНК‑представление);
фиксация точке перемены съёмок (сцен);
построение дерева перемены съёмок.
На данный момент наиболее перспективными кажутся ГХ‑методы. Они позволяют без особых вычислительных затрат приближенно решить задачу. Однако, для уточнения могут потребоваться ЛХ‑методы. В конце работы предложена комбинация методов на основе структурного представления видео. Введено понятие дескриптора съёмки. Он состоит:
из вектора отношений длин съёмок к длинам других съёмок — глобальные характеристики и описания свойств начального и конечного кадров — локальные характеристики. About Near-Duplicate Video Retrieval Methods The paper focuses on an overview of the different existing methods in near duplicate video retrieval. The advantages and disadvantages of the methods are discussed. At the end we suggest an original combination of methods based on structural video representation and propose a novel shot descriptor. Keywords: bag of words, color histogram, DNA, frame, frequency dictionary, Gale–Church algorithm, guide tree, Harris detector, index frame, keyframes, locality-sensitive hashing, luminance histogram, movement measure, MSA, near-duplicates video, neighbor joining, ordinal measure photographic frame, progressive alignment, reference frame, scenes; shot, shot descriptor, shot tree, SIFT, suffix array, video mining, visual words. Abstract Near duplicate video retrieval techniques implement the following steps.
1. Video is divided into segments.
2. Keyframes are extracted from each segment.
3. Features are extracted from keyframes. Keyframe features represent the whole video.
4. The similarity between the videos is calculated as a similarity between keyframe features.
There are methods using global features and the local ones. Local methods reduce the problem of finding similar videos to the problem of finding image duplicates. The paper discusses the local methods:
tracing the trajectories of the points of interest in the frame; comparison of the points of interest in keyframes; bag of visual keywords.
Global methods simulate the spatial, temporal and color information of frames and scenes. The similarity between the video query and the videos from database is defined as the similarity of video signatures. Global features are useful for retrieve „almost identical videos and can identify minor changes in the space‑time domain. In this paper we consider several ways to built global signatures:
locally sensitive hashing; ordinal measure; video DNA‑representation; shot change positions; the shot change tree.
At the end the combination of methods within a novel shot descriptor is 0 proposed. The descriptor consists of:
a vector of the relations of shot lengths to lengths of other shots (relative shot lengths) as a global feature; features of initial and final frames as local ones.
Видео делят на отрезки.
Из каждого отрезка выделяют ключевые кадры.
Для представления ключевых кадров извлекают последовательности в которых содержатся характеристики кадров. Характеристики ключевых кадров используются для представления всего видео.
Подобие между видео как подобие вычисляют наборов характеристик ключевых кадров.
Различают методы, использующие глобальные характеристики (ГХ) и методы, использующие локальные характеристики (ЛХ). ЛХ‑методы сводят задачу поиска похожих видео к задаче поиска дубликатов изображений. В работе рассмотрены ЛХ‑методы:
отслеживание траекторий особых точек кадра, сравнение особых точек ключевых кадров, сравнение визуальных «видео‑слов» по частотным словарям ГХ‑методы моделируют пространственную, цветовую и временную информацию кадров и сцен видео. Сходство между видео из запроса и видео из базы определяется как соответствие подписей (сигнатур) видео. Глобальные характеристики полезны, для поиска «почти одинаковых» видео и могут выявить незначительные правки в пространственно‑временной области. В работе рассмотрено несколько способов формирования подписей для ГХ‑методов:
локально‑чувствительное хеширование; использование порядковой меры; представление видео как последовательности геномов (ДНК‑представление);
фиксация точке перемены съёмок (сцен);
построение дерева перемены съёмок.
На данный момент наиболее перспективными кажутся ГХ‑методы. Они позволяют без особых вычислительных затрат приближенно решить задачу. Однако, для уточнения могут потребоваться ЛХ‑методы. В конце работы предложена комбинация методов на основе структурного представления видео. Введено понятие дескриптора съёмки. Он состоит:
из вектора отношений длин съёмок к длинам других съёмок — глобальные характеристики и описания свойств начального и конечного кадров — локальные характеристики. About Near-Duplicate Video Retrieval Methods The paper focuses on an overview of the different existing methods in near duplicate video retrieval. The advantages and disadvantages of the methods are discussed. At the end we suggest an original combination of methods based on structural video representation and propose a novel shot descriptor. Keywords: bag of words, color histogram, DNA, frame, frequency dictionary, Gale–Church algorithm, guide tree, Harris detector, index frame, keyframes, locality-sensitive hashing, luminance histogram, movement measure, MSA, near-duplicates video, neighbor joining, ordinal measure photographic frame, progressive alignment, reference frame, scenes; shot, shot descriptor, shot tree, SIFT, suffix array, video mining, visual words. Abstract Near duplicate video retrieval techniques implement the following steps.
1. Video is divided into segments.
2. Keyframes are extracted from each segment.
3. Features are extracted from keyframes. Keyframe features represent the whole video.
4. The similarity between the videos is calculated as a similarity between keyframe features.
There are methods using global features and the local ones. Local methods reduce the problem of finding similar videos to the problem of finding image duplicates. The paper discusses the local methods:
tracing the trajectories of the points of interest in the frame; comparison of the points of interest in keyframes; bag of visual keywords.
Global methods simulate the spatial, temporal and color information of frames and scenes. The similarity between the video query and the videos from database is defined as the similarity of video signatures. Global features are useful for retrieve „almost identical videos and can identify minor changes in the space‑time domain. In this paper we consider several ways to built global signatures:
locally sensitive hashing; ordinal measure; video DNA‑representation; shot change positions; the shot change tree.
At the end the combination of methods within a novel shot descriptor is 0 proposed. The descriptor consists of:
a vector of the relations of shot lengths to lengths of other shots (relative shot lengths) as a global feature; features of initial and final frames as local ones.