취업준비 (68) 썸네일형 리스트형 [AI Tech] 2주차 10-2차시 하이퍼 파라미터 튜닝 연습 10-2. 하이퍼 파라미터 튜닝 연습 1. 복습 1) 하이퍼 파라미터: 학습 이전에 사람이 컨트롤 할 수 있는 값 2) 파라미터: 모델이 학습 과정에서 스스로 배워나가는 값 3) 하이퍼 파라미터를 최적화하는 과정 → 하이퍼 파라미터 튜닝 4) 하이퍼 파라미터를 어떻게 설정하느냐에 따라 모델의 성능이 차이가 날 수도 있다. © NAVER Connect Foundation. All Rights Reserved [AI Tech] 2주차 10-1차시 하이퍼 파라미터 튜닝 10차시: 하이퍼 파라미터 튜닝 10-1. 하이퍼 파라미터 튜닝 1. 하이퍼 파라미터 튜닝이란? 1-1. 하이퍼 파리미터(Hyper Parameter) 튜닝이란? 하이퍼 파라미터 - A parameter whose value is used to control the learning process. - By contrast, the values of other parameters(typically node weights) are learned 하이퍼 파라미터 튜닝 - Choosing a set of optimal hyperparameters for a learning algorithm 1-2. 하이퍼 파라미터 튜닝 방법 Manual Search : 자동화 툴을 사용하지 않고 매뉴얼 하게 실험할 하이퍼 파라.. [AI Tech] 2주차 9-3차시 Quiz 4 9-3. Quiz 4 1번 다음 에서 설명하는 용어로 가장 적절한 것을 고르시오. 원본 데이터로부터 도메인 지식 등을 바탕으로 문제를 해결하는데 도움이 되는 피처를 생성 및 변환하고 이를 머신러닝 모델에 적합한 형식으로 변환하는 작업. 1) Feature Importance 2) Feature Selection 3) Cross Validation 4) Feature Engineering 더보기 피처엔지니어링(Feature Engineering)은 원본 데이터로부터 도메인 지식 등을 바탕으로 문제를 해결하는데 도움이 되는 피처를 생성 및 변환하고 이를 머신러닝 모델에 적합한 형식으로 변환하는 작업입니다. 2번 다음 그래프와 같이 시간 또는 순서에 따라 증가하는 데이터의 총 합계를 표시하는데 사용하는 함수를.. [AI Tech] 2주차 9-2차시 피처 엔지니어링 연습 9-2. 피처 엔지니어링 연습 1. 복습 1) 데이터로부터 전문 필드지식 등을 바탕으로 문제를 해결하는데 도우미 피처를 만들고 이를 머신러닝 모델에 적합한 형식으로 변환하는 작업이다. 2) 딥러닝 과의 차이점 - 머신러닝은 피처 엔지니어링을 진행해야만 한다. - 머신러닝은 정답을 예측하는데 얼마나 유용한지에 따라 각 피처에 대해 중요도를 측정할 수 있다. © NAVER Connect Foundation. All Rights Reserved [AI Tech] 2주차 9-1차시 피처 중요도와 피처 선택 9차시: 피처 엔지니어링 - 2 9-1. 피처 중요도와 피처 선택 1. 피처 중요도란? 1-1. 피처 중요도란(Feature Importance)란? 피처 중요도 : 타겟 변수를 예측하는 데 얼마나 유용한 지에 따라 피처에 점수를 할당해서 중요도를 측정하는 방법이다. Model-specific vs Model-agnostic - Model-specific: 머신러닝 모델 자체에서 피처 중요도 계산이 가능한 것 - Model-agnostic: 모델에서 제공하는 기능에 의존하지 않고 모델을 학습한 후에 적용되는 피처 중요도 계산 방법 2. Boosting Tree 피처 중요도 2-1. LightGBM 피처 중요도 LightGBM 피처 중요도 함수 - Training된 LightGBM 모델 클래스에 featu.. [AI Tech] 2주차 8-2차시 피처 엔지니어링 (2) 8-2. 피처 엔지니어링 (2) 1. Pandas Group by 누적합을 이용한 Feature Engineering 원본 데이터에서 주어진 Feature에 고객 ID, 상품 ID, 주문 ID 기반으로 Pandas Group by 누적합(cumsum) 함수를 적용해서 새로운 Feature 생성 1.1 Group by cumsum Aggregation Feature Generation EDA를 위한 Feature 생성 코드 1.2 cumsum_quantity_by_prod_id-sum Feature 1.3 cumsum_total_by_prod_id_sum Feature 1.4 cumsum_total_by_prod_id-skew Feature 데이터가 pos: 왼쪽으로 쏠림, neg: 오른쪽으로 쏠림 1.5.. [AI Tech] 2주차 8-1차시 피처 엔지니어링 (1) 8차시: 피처 엔지니어링 - 1 8-1. 피처 엔지니어링 (1) 1. Pandas Group By Aggregation을 이용한 Feature Engineering 1. 정의 Feature Engineering은 원본 데이터로부터 도메인 지식 등을 바탕으로 문제를 해결하는데 도움이 되는 Feature를 생성, 변환하고 이를 머신 러닝 모델에 적합한 형식으로 변환하는 작업 1.1 Group By Aggregation Feature Generation Total-Sum Feature Quantity-sum Feature: 과거 고객이 구매한 상품의 수의 합 / 레이블 별 분포가 확 다르다. Price-Sum Feature: 과거 고객이 주문한 상품 금액의 합 Total-count Feature Quantit.. [AI Tech] 1주차 7차시 프로젝트 3 7. 프로젝트 3 [프로젝트 3] 캐글러가 되자: housing data (2) 1. 목표 v 캐글 가입하기 v 학습 데이터에서 라벨 제거하기 v 결측치 데이터 비율 계산하기 2. 프로젝트 코드 코드 구현: missing 라이브러리로 결측치 데이터 시각화 하기 import missingno as msno # 라이브러리 임포트 ## 코드시작 ## # 미션 3-2 코드 작성 : data에 결손치를 missingno 라이브러리를 이용하여 시각화 해보세요. msno.matrix(data) ## 코드종료 ## sub_id = data['id'][train_len:] del data['id'] print(data.columns) data['date'] = data['date'].apply(lambda x : str.. [AI Tech] 1주차 6차시 프로젝트 2 6. 프로젝트 2 [프로젝트 2] 캐글러가 되자 - Housing data (1) 1. 목표 v 캐글 가입하기 v 학습 데이터에서 라벨 제거하기 v 결측치 데이터 비율 계산하기 2. 프로젝트 코드 코드 구현: 캐글 가입하기 ## 코드시작 ## # 미션 1 코드 작성 : 캐글에 가입하고, 프로필명 공유하기 print('캐글프로필명') # '...' 에 프로필명을 채워주세요 ## 코드종료 ## 코드 구현: 학습 데이터에서 라벨 제거하기 import warnings warnings.filterwarnings("ignore") import os from os.path import join import pandas as pd import numpy as np from sklearn.ensemble import G.. [AI Tech] 1주차 5-3차시 Quiz 3 5-3. Quiz 3 1번 과소적합(Underfitting)을 방지하는 방식에 해당하지 않은 것을 고르시오. 1) 피처를 더 많이 반영한다. 2) 복잡한 모델을 사용한다. 3) 더 많은 데이터로 훈련한다. 4) 훈련시간을 줄인다. 더보기 정답: 4) 2번 정형데이터의 과적합(Overfitting)을 방지하는 방법에 해당하지 않은 것을 고르시오. 1) Dropout 2) Early Stopping 3) Label smoothing 4) Data Augmentation 더보기 정답: 3) 3번 다음에 해당하는 교차검증(Cross Validation) 방식을 고르시오. 1) Time Series Split Cross Validation 2) Stratified k-Fold Cross Validation 3) .. 이전 1 2 3 4 5 6 7 다음
