[AI Tech] 5주차 23-1차시 Regularization

23차시: 최적화 - 2

23-1. Regularization

학습한 데이터 외에도 학습한 모델이 잘 적용되도록 학습을 방해하는 것을 Regularization이라고 한다.

1. Early stopping

더 많이 학습하기 전에 미리 멈춰버리는 방법

Early stopping

 

2. Parameter Norm Penalty

크기 관점에서 작게 하는 것

함수를 최대한 부드러운 함수로 보는 것 → 부드러울 수록 generalization performance가 높을 것이라는 과정이 깔려 있다.

Parameter Norm Penalty

 

3. Data Augmentation

Data Augmentation

아무리 딥러닝을 잘해도 데이터가 작으면 잘 학습 못할 수 있다.

Data Augmentation을 통해 데이터 양을 기하급수적으로 늘린다.

Data Aug

 

4. Noise Robustness

입력된 데이터와 가중치에 노이즈를 집어 넣는 것

왜 학습이 잘되는지에 대해서는 아직까지도 논란이다.

Noise Robustness

 

5. Label Smoothing

데이터 두 개를 뽑아서 두 개를 섞어주는 것이다.

Label Smoothing

강아지 고양이

CutMix는 섞어줄 때 이미지 특정 영역을 쪼개서 섞는 방법이다.

성능이 많이 올라간다.

 

6. Dropout

Dropout

쓰면 성능이 많이 올라간다.

 

7. Batch Normalization

Batch Normalization

아직까지도 논란이 많은 부분이다.

일반적으로 레이어가 많이 쌓이게 되면 성능이 많이 올라간다.

Batch2

 

 

 

 

 

© NAVER Connect Foundation. All Rights Reserved