[AI Tech] 5주차 22-1차시 최적화의 주요 용어 이해하기

22차시: 최적화 - 1

22-1. 최적화의 주요 용어 이해하기

1. Introduction

Gradient Descent(경사하강법)

일차 미분 값을 이용해서 미분 함수의 지역 최솟값을 찾는 알고리즘을 반복 최적화하는 방법이다.

편미분 값을 이용해 최적화를 시킨다.

 

2. Important Concepts in Optimization

Generalization(일반화 성능)

얼마나, 학습된 모델이 학습하지 않았던 데이터에 잘 작동하는지 표현하는 값

Generalization gap = Test Error - Training Error

Generalization Gap

Underfitting vs. Overfitting

Underfitting vs. Overfitting

학습 데이터에 잘 동작하지만 테스트 데이터에 잘 동작하지 않을 때 Overfitting이라고 한다.

네트워크가 너무 간단하거나 학습 데이터가 적을 때 발생하는 것을 Underfitting이라고 한다.

Cross-validation

학습 데이터로 학습시킨 모델이 학습에 사용되지 않은 데이터에 얼마나 유효하는지 k개로 나누어 검증하는 방법

Cross-validation

Bias and Variance

Variance

출력이 일관적으로 나온다 → Low Variance

출력이 일관적으로 안 나온다 → High Variance

평균적으로 봤을 때 mean에 근사하는 것 → Low Bias

평균적으로 봤을 때 mean에서 멀어지는 것 → High Bias

Equation of Given D

우리의 목적은 cost를 최소화하는 것인데, cost는 bias의 제곱, variance, 그리고 noise로 판단한다.

Equation2

Bootstrapping

Pull yourself up of bootstraps

Any test or metric that uses random sampling with replacement.

→ 테스트 데이터가 100개 정도 있다면 80개 정도만 사용하여 여러 개의 모델을 만드는 것

Bagging vs. Boosting

1) Bagging(Bootstrapping aggregating)

- 여러 개의 모델들은 bootstrapping을 통해 학습된다.

- 예) Base classifiers가 개별적 예측들이 모여 있는 랜덤 하위집합에 맞춰져 있다.

2) Boosting

- 정의하기 어려운 특별한 학습 데이터에 집중한 것이다.

- 강력한 모델은 순차적인 약한 러너들을 섞어서 생성한다. 여기서 각 러너들은 이전 약한 러의 오차를 학습한다.

Bagging vs. Boosting

 

 

 

 

© NAVER Connect Foundation. All Rights Reserved