[AI Tech] 2주차 10-1차시 하이퍼 파라미터 튜닝

10차시: 하이퍼 파라미터 튜닝

10-1. 하이퍼 파라미터 튜닝

1. 하이퍼 파라미터 튜닝이란?

1-1. 하이퍼 파리미터(Hyper Parameter) 튜닝이란?

하이퍼 파라미터

- A parameter whose value is used to control the learning process.

- By contrast, the values of other parameters(typically node weights) are learned

하이퍼 파라미터 튜닝

- Choosing a set of optimal hyperparameters for a learning algorithm

 

1-2. 하이퍼 파라미터 튜닝 방법

Manual Search

: 자동화 툴을 사용하지 않고 매뉴얼 하게 실험할 하이퍼 파라미터 셋을 정하고 하나씩 바꿔가면서 테스트해 보는 방식

 

1-3. Grid Search

 

1-4. Random Search

 

1-5. Bayesian Optimization

 

2. Boosting Tree 하이퍼 파라미터

2-1. Boosting Tree 하이퍼 파라미터

 

3. Optuna

3-1. Optuna란?

1) 오픈소스 하이퍼 파라미터 튜닝 프레임워크

    - 주요 기능

        * Eager search spaces

            Automated search for optimal hyperparameters using Python conditionals, loops, and syntax

        * State-of-the-art algorithms

            Efficiently search large spaces and prune unpromising trials for faster results

        * Easy parallelization

            Parallelize hyperparameter searches over multiple threads or processes without modifying code

 

3-2. Optuna 기본 개념

 

3.3 Optuna LightGBM 적용

 

3.4 Optuna 하이퍼 파라미터 탐색 결과 저장

 

3.5 Optuna 하이퍼 파라미터 Visualization

 

 

 

 

 

© NAVER Connect Foundation. All Rights Reserved