논문 Review
-
Audio-Visual Mismatch-Aware Video Retrievalvia Association and Adjustment논문 Review/Video Retrieval 2023. 1. 6. 16:18
짧게 필요한 부분만 정리해보자(타임 어택, 집중) 15:00 ~ 16:30 해당 Problem - 해당 Method video의 각각의 frame을 spatial encoder(CNN) 모델에 넣어서 spatial features를 뽑고 이를 위의 fsp로 표현함 이 feature를 visual context embedder의 input으로 넣는데 일반적인 transformer 형태임 이를 통해 overall spatio-temporal context of visual feature를 encode 할 수 있다고 얘기함 (attention mechanism의 장점임) 여기서 차이점은 multi-head attention의 last part 부분이 not feed-forward라고 하는데 이는 multi-h..
-
개인 연구 아이디어 정리논문 Review/Video Representations learning 2022. 12. 19. 16:16
개인 연구에 적용할 아이디어를 정리하는 글입니다. Temporal Alignment Networks for Long-term Video(CVPR 2022 oral) 다양한 정보를 취합하여 얻은 복합적인 similarity와 개별 정보를 통해 얻은 단순한 similarity의 유사성을 비교하여, 두 similarity가 비슷할 경우 pseudo-label을 믿도록 학습하는 방식 문제가 무엇인지? -> long term video sequences 나 associated text sentences를 가지고 잇는 temporal alignment network임 -> HowTo100M 같이 연관된 text sentences가 상당한 noise가 있거나 relevant할때 약하게 aligned 되어 있는 경우 ..
-
Active Contrastive Learning Of Audio-Visual Representation논문 Review/Video Representations learning 2022. 5. 26. 22:44
ICLR 2021 accepted 된 논문입니다. 개인적으로 최근에 읽었던 논문 중에 가장 깔끔하지 않았나..싶습니다. 이제 논문리뷰를 좀 간단하고 중요한 부분만 하려고 합니다. 관련 분야의 논문을 계속 읽다보니 어느 정도 파악이 되는 부분이 있어서 핵심만 빠르게 짚고 넘어가겠습니다. Introduction 기본적으로 Contrastive learning of audio and visual representation 입니다. 여기서 Contrastive learning 함에 있어 MoCO를 사용하겠다 근데 MoCO가 문제가 있는데 간단하게 딕셔녀리 사이즈를 늘려주긴 하는데 이게 성능을 향상시키냐? 그건 또 아니다 라는 거죠. 또한 데이터의 중복 문제가 높다? 이건 되게 suffer함이 있다고 합니다. r..
-
Representation Learning 필요한 개념 정리논문 Review/Video Representations learning 2022. 5. 18. 12:22
Representation learning을 공부하다가 자주 나오는 내용이랑 정리가 필요하다는 부분을 정리하려고 한다. Active Learning Active Learning 기법을 Representation Learning에 적용한 논문들이 좀 있다. Active Learning에 대해 정확히 알지 못해서 정리가 필요하다고 생각했다. Active Learning은 딥러닝에서 라벨링된 데이터의 확보와 관련이 있는 분야입니다. 데이터의 질과 양에 따라 딥러닝의 성능의 영향이 상당한데 데이터를 확보한다는건 비용적인 문제가 있고 이미지 같은 경우는 라벨을 부여하는 작업은 기본적으로 사람이 정성적으로 처리해야 문제이므로 비용과 연관이 있죠. Active Learning은 이러한 문제를 해결하기 위해 라벨이 주..
-
Enhancing Audio-Visual Association with Self-Supervised Curriculum Learning논문 Review/Video Representations learning 2022. 5. 4. 12:54
Base로 잡으려고 하는 논문들 중 하나이다. audio-visual representations learning 이다. Video의 내에서 Audio-Visual Association을 이용해 Self-Supervised learning을 하려고 하는데 이때의 방법들이 좀 필요해서 찾아보고 있다. AAAI 2021에 accepted된 논문이다. 아쉽게도 코드는 제공하고 있지 않은 것 같다. 1. Introduction acoustic signal 과 visual apperance의 co-occurrence는 인간의 경험에서 잠재적인 cue가 될 수 있다고 합니다. 에를 들어 ball bouncing 소리를 들으면 인간은 numerous visual scence candidates로부터 basketbal..
-
CVPR 2021 Video Representation Learning 정리논문 Review/Video Representations learning 2022. 4. 7. 01:32
CVPR 2021에 accepted된 video representation learning 관련 5개의 논문을 간단하게 정리해보려고 한다. 일단 빠르게 훑어보고 정리하고 관련이 있고 필요하다고 생각하면 자세히 리뷰하려고 한다. SSAN: Separable Self-Attention Network foro Video Representation Learning 중국인이 쓴 논문이다....... modeling long range dependencies의 효과적이기 때문에 Self-attention은 성공적으로 video representation learning에 적용할 수 있다. 기존 접근 방식은 공간 및 시간 차원을 따라 쌍별 상관 관계를 동시에 계산함으로써 dependencies를 구축한다. 하지만 s..
-
Audio-Visual Instance Discrimination with Cross-Modal Agreement논문 Review/Video Representations learning 2022. 3. 22. 21:48
이번에 정리할 논문은 예전부터 보려고 했던 논문인데 self-supervised learning approach를 Audio-visual representations의 학습에 적용한 논문이다. 되게 간단하면서도 좋은 성능을 보이고 FAIR에서 나오고 CVPR 2021에 accepted 된 논문이라 자세히 살펴볼 생각이다. 1. Introdcution 파도 소리를 상상해보라고 하면서 하나의 소리가 여러 풍경을 이어주는 bridge 역할을 한다고 얘기한다. 논문의 저자들은 자유롭게 발생하는 Audio의 특성을 활용해서 self-supervised 방식으로 Video representation을 학습합니다. 일반적인 기술은 Video와 Audio의 입력 쌍이 correct 인지 아닌지의 여부를 예측해야 하는 ..
-
ViSiL: Fine-grained Spatio-Temporal Video Similarity Learning논문 Review/Video Retrieval 2022. 3. 7. 12:55
오늘 리뷰 할 논문은 DnS: Distill-and-Select for Efficient and Accurate Video Indexing and Retrieval 에 basic이 되는 ViSiL: Fine-grained Spatio-Temporal Video Similarity Learning 입니다. 프로그래밍용어 Fine-Grained 하나의 작업을 작은 단위의 프로세스로 나눈뒤, 다수의 호출을 통해, 작업 결과를 생성해내는 방식 Flexible System 상에서 유용하게 쓰일 수 있음 Coarse-Grianed 하나의 작업을 큰 다위의 프로세스로 나눈 뒤, Single Call 을 통해, 작업 결과를 생성해내는 방식 Distributed System 상에서 유용하게 쓰일 수 있음 1. Intro..