Video Retrieval Task 파악

Duplicate Scene Video Retrieval (DSVR)

- NDVR 문제를 다루는데 적용된 변환에 관계없이 하나 이상의 장면(동일한 카메라로 캡처됨)을 공유하는 두 video를 retrieval하는 task, 여기서 Duplicate Scene video는 공유되는 scene은 서로 정확히 중복 되어야 하지만 photometric variations, editing operations, length, 다른 수정 측면에서 다를 수 있습니다. 더 정확하게 말하면 동일한 시공간 범위와 관점에서 비롯되어야 합니다. 여기서 의미적으로 유사한 장면을 포함하는 비디오는 DSV로 간주되지 않습니다. 

 

Complementary Scene Videos Retrieval (CSVR)

- 동일한 사건의 공통 세그먼트를 하나 이상 공유해야 하는 비디오의 retrieval task입니다. 특히 CSV 쌍의 두 비디오 각각은 다른 비디오의 spatio-temporal 세그먼트와 일시적으로 겹치는 spatio-temporal segment를 포함해야 합니다.

temporal overlap의 식별은 어려운 task이기 때문에 inference를 위해 어떠한 오디오 또는 시각적 신호도 고려될 수 있습니다.

 

Incident Scene Videos Retrieval (ISVR)

- 동일한 사건을 묘사하지만 temporal overlap이 없는 비디오의 retrieval task입니다. Query가 이벤트 또는 연속되는 사건의 특정 incident를 묘사하는 경우, 특정 incident를 캡처하는 비디오만 이 범주에 포함됩니다.

 

이 그림을 보면 이해하기 쉬운데 CSV는 적어도 동일한 사건의 공통 세그먼트를 하나 이상 공유하는 video이고 spatio-temporal을 생각! ISV는 비행기가 떨어지는 사건은 동일하지만 temporal overlap이 없는 비디오 retrieval task입니다.

 

 

Duplicate Audio Video Retrieval (DAVR)

- NDVR 문제에서 특별한 case 중 하나입니다. 오디오 콘텐츠 측면에서 중복된 동영상을 검색하는 것입니다.

동영상의 조작된 오디오 콘텐츠는 mp3 압축, 대역폭 제한 또는 음성과의 혼합과 같은 다양한 변형을 겪었을 수 있습니다. 이 문제의 instance를 DAVR이라고 합니다.