Representation Learning 필요한 개념 정리

Representation learning을 공부하다가 자주 나오는 내용이랑 정리가 필요하다는 부분을 정리하려고 한다.

 

Active Learning

 

Active Learning 기법을 Representation Learning에 적용한 논문들이 좀 있다.

Active Learning에 대해 정확히 알지 못해서 정리가 필요하다고 생각했다. Active Learning은 딥러닝에서 라벨링된 데이터의 확보와 관련이 있는 분야입니다. 데이터의 질과 양에 따라 딥러닝의 성능의 영향이 상당한데 데이터를 확보한다는건 비용적인 문제가 있고 이미지 같은 경우는 라벨을 부여하는 작업은 기본적으로 사람이 정성적으로 처리해야 문제이므로 비용과 연관이 있죠.

 

Active Learning은 이러한 문제를 해결하기 위해 라벨이 주어지지 않은 데이터를 이용하여 어떤 데이터는 자동으로 라벨을 붙일 수 있고 어떤 데이터는 사람이 꼭 라벨링을 해야 하는 지 필터를 해주는 Method라고 생각하면 됩니다.

 

 

InfoNCE Loss

 

Unsupervised setting에서 Instance Discrimination

label 이 없을때 samples = N , N-label classification으로도 유의미한 feature를 얻을 수 있는데 이 때 N이 너무 크면 Noise Contrastive Estimation을 사용합니다. 이미지의 개수가 너무 많으면 이걸 classification을 하는 것은 불가능 하기 떄문에 approxmiate 하는 걸로 Noise Contrastive Estimation을 합니다. 

 

positive sample과 negative sample(from noise distribution)을 샘플링 하고 binary classification으로 접근이 가능함.

 

InfoNCE loss는 categorical cross entropy를 사용하여 여러 개의 negative sample과 비교하여 positive sample을 identify 하는 법 자세한 설명은 위 그림으로 나와있다. 보통 분자가 positive sample끼리의 similarity고 분모가 negatvie sample끼리의 similarity가 있어서 분자를 작게하고 분모를 크게 하면 log와 loss에 맞게 loss를 최소화 할 수 있습니다. 

 

Parametric model vs Non-parametric model

 

머신러닝이나 통계학 관련 된 공부를 하다 보면 parametric/non-parametric model에 대한 내용이 자주 나오는데 정리를 간단하게 하려고 합니다.

 

Parametric model 

• The model has a fixed number of parametrs, 모델의 파라미터 수가 정해져있다.
• 데이터가 특정 분포를 따른다고 가정, 데이터가 얼마나 많든 간에 결정해야 할 파라미터의 수는 변하지 않는다.
• 데이터의 분포가 특정한 분포를 따른다는 가정을 해야 하기 때문에 flexibility가 낮고 간단한 문제를 푸는 데에 더 적합함

Non-parametric model 

• The number of parameters grow with the amount of training data, 파라미터의 수가 학습 데이터의 크기에 따라 달라진다.
• 데이터가 특정 분포를 따른다는 가정이 없기 때문에 학습에 따라 튜닝해야 할 파라미터가 명확하게 정해져 있지 않다.
• 그러므로 data의 사전 지식이 없는 경우 유용하고 flexible 하지만 속도가 느린 경우가 많고, 더 큰 데이터를 필요로 하는 경우가 있다.

Optimization 관련 TIP

 

참고 자료 : https://nuguziii.github.io/survey/S-006/ , https://process-mining.tistory.com/131