본문 바로가기

최적화

 (7)
[AI Tech] 5주차 24차시 프로젝트 8 24차시: 프로젝트 8 [ 프로젝트 8 ] 2 레이어 인공신경망 구현하기 (2) 1. 목표 v 손실함수 만들기 v 순방향 연산 구하기 v 역방향 그레디언트 계산하기 2. 프로젝트 코드 구현: 손실함수 만들기 # 모델 세팅 import numpy as np # numpy import X = np.array([0, 0, 1, 1, 0, 1, 0, 1]).reshape(2,4) # 입력 Y = np.array([0, 1, 1, 0]).reshape(1,4) # 정답 print(X) print(Y) # 가중치 초기화 함수 def init_parameters(num_hidden_units = 2): W1 = np.random.randn(2, num_hidden_units) # 첫번째 레이어 가중치 B1 = np...
[AI Tech] 5주차 23-4차시 프로젝트 7 23-4. 프로젝트 7 [ 프로젝트 7 ] 2 레이어 인공신경망 구현하기 (1) 1. 목표 v 어파인 변환 연산과 시그모이드 활성화 함수 만들기 2. 프로젝트 코드 구현: 어파인 변환 연산과 시그모이드 활성화 함수 만들기 # 모델 세팅 import numpy as np # numpy import X = np.array([0, 0, 1, 1, 0, 1, 0, 1]).reshape(2,4) # 입력 Y = np.array([0, 1, 1, 0]).reshape(1,4) # 정답 print(X) print(Y) # 파라미터 세팅 # 가중치 초기화 함수 def init_parameters(num_hidden_units = 2): W1 = np.random.randn(2, num_hidden_units) # 첫번..
[AI Tech] 5주차 23-3차시 Quiz 9 23-2. Quiz 9 1번 다음 의 괄호 안에 들어갈 단어로 올바른 것은? 머신러닝에서 (_________)란 input data가 달라져도 출력에 대한 성능 차이가 나지 않는 현상을 의미한다. 1) Bootstrapping 2) Generalization 3) Optimization 4) Cross Validation 더보기 정답: 2번 2번 다음 중 '좋은 모델'이라고 이야기할 수 있는 Bias & Variance 관계로 올바른 것은? 1) High Bias & High Variance 2) Low Bias & Low Variance 3) Low Bias & High Variance 4) High Bias & Low Variance 더보기 정답: 2번 풀이 편향(Bias)은 예측값이 정답과 얼마나 ..
[AI Tech] 5주차 23-2차시 딥러닝 연습 23-2. 딥러닝 연습 1. 복습 딥러닝 = 입력층 + 은닉층 + 출력층 각각을 연결하는 인공 뉴런들을 이용해 신경망을 구성한다. 은닉층이 많아질수록 예측 성능이 증가할 수 있다. © NAVER Connect Foundation. All Rights Reserved
[AI Tech] 5주차 23-1차시 Regularization 23차시: 최적화 - 2 23-1. Regularization 학습한 데이터 외에도 학습한 모델이 잘 적용되도록 학습을 방해하는 것을 Regularization이라고 한다. 1. Early stopping 더 많이 학습하기 전에 미리 멈춰버리는 방법 2. Parameter Norm Penalty 크기 관점에서 작게 하는 것 함수를 최대한 부드러운 함수로 보는 것 → 부드러울 수록 generalization performance가 높을 것이라는 과정이 깔려 있다. 3. Data Augmentation 아무리 딥러닝을 잘해도 데이터가 작으면 잘 학습 못할 수 있다. Data Augmentation을 통해 데이터 양을 기하급수적으로 늘린다. 4. Noise Robustness 입력된 데이터와 가중치에 노이즈를..
[AI Tech] 5주차 22-2차시 Gradient Descent Methods 22-2. Gradient Descent Models 1. Gradient Descent Methods Stochastic gradient descent 단일 샘플에 의해 계산된 경사도로 업데이트하는 방법 Mini-batch gradient descent 데이터의 하위 집합에 의해 계산된 경사도로 업데이트 하는 방법 Batch gradient descent 모든 데이터에 의해 계산된 경사도로 업데이트 하는 방법 2. Batch-size Matters It has been observed in practice that when using a larger batch there is a degradation in the quality of the model, as measured by its ability t..
[AI Tech] 5주차 22-1차시 최적화의 주요 용어 이해하기 22차시: 최적화 - 1 22-1. 최적화의 주요 용어 이해하기 1. Introduction Gradient Descent(경사하강법) 일차 미분 값을 이용해서 미분 함수의 지역 최솟값을 찾는 알고리즘을 반복 최적화하는 방법이다. 편미분 값을 이용해 최적화를 시킨다. 2. Important Concepts in Optimization Generalization(일반화 성능) 얼마나, 학습된 모델이 학습하지 않았던 데이터에 잘 작동하는지 표현하는 값 Generalization gap = Test Error - Training Error Underfitting vs. Overfitting 학습 데이터에 잘 동작하지만 테스트 데이터에 잘 동작하지 않을 때 Overfitting이라고 한다. 네트워크가 너무 간단..

티스토리툴바