[홀로서기 4] 딥러닝 홀로서기 강의 정리(chap 11, 12, 13, 14)

<수강한 강의>

[#11.Lec] How to Parameterize DL Code - 딥러닝 홀로서기

[#12.Lab] Run Pytorch on GPU - 딥러닝 홀로서기

[#13.Lec] Overfitting, Regularization - 딥러닝 홀로서기

[#14.Lec] Hyperparameter Tuning Guide - 딥러닝 홀로서기

 

수강 날짜 : 220814-

 

<내용 정리>

 

[#11.Lec] How to Parameterize DL Code - 딥러닝 홀로서기

 

- How to parameterize Entire code

설정해야 하는 하이퍼파라미터들이 많다. 이걸 어떻게 관리할 것인지? => args로 한 곳에 모아 관리

- 왜 변수화를 해야 하는가?

    - 다양한 변수를 한곳에서 관리하기 위해서

    - 세이프 코딩을 위한 목적(코드 안에 상수로 남아있는 값이 있으면 하이퍼파라미터를 바꿨어도 별 변화없는 것으로 아고 넘어가버릴 수 있어서)

    - Re-usability(재사용), Readability(가독성)

    - hyperparameter의 optimizer를 사용할 수도 있다.

 

- hyperparameter란? non-trainable하다.

 

<Hyper-parameter 구성요소>

- 모델을 결정하는 하이퍼 파라미터(layer수, unit 수 등)

- optimizer를 결정하는 하이퍼 파라미터(예. adam)

- training/evaluation process related(epoch을 몇 번 돌릴 건지, batch_size, 데이터 양이 많다면 언제마다 evaluate할 건지)

- device(gpu, cpu)

- saving exp result(실험결과, 모델 이름)

 

<Argparse>

import argparse
parser = argparse.ArgumentParser()
args = parser.parse_args("")

print(args)
args.batch_size = 100
print(args.batch_size)

args.in_dim = 256
args.in_dim = 128

- python 내장 라이브러리

- dictionary type으로 정리를 하면 되는데, 그중에서 간편하게 쓰기 위해 argparse를 쓰는 것.

- 만약 args를 dictionary로 바꾸고 싶다면? vars(args) 이렇게 해주면 된다.

 

[#12.Lab] Run Pytorch on GPU - 딥러닝 홀로서기

 

- CPU와 GPU를 사용하는 것의 차이 : cpu의 경우 for문을 돌린다면, gpu는 병렬적으로 처리가 가능.

- 그러면 pytorch에서 어떻게 GPU를 사용할 수 있을까?

 

model = MLPModel(784,10,[1000])

device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')

model.to(device)

 

device에서 cpu냐 cuda:0(GPU)이냐를 적어주면 된다. 이 때, 데이터들에도 적용시켜주도록 한다.

 

input_X = input_X.to(device)

true_y = true_y.to(device)

print(torch.couda.is_available()) -> 이걸 이용해서 if문으로 gpu나 cpu 사용을 표현할 수도 있다.

 

=> device = 'cuda:0' if torch.cuda.is_available() else 'cpu'

그리고 데이터를 다룰 때도 마찬가지로 input_X = input_X.to(device)와 같은 식으로 넣어주어야 한다. true_y = true_y.to(device)

그 이후에는 numpy도 cpu 관련 코드로 바꿔주어야 한다.

 

[#13.Lec] Overfitting, Regularization - 딥러닝 홀로서기

 

<MLP에서의 Overfitting>

- Model Capacity : 파라미터를 늘릴 수록 capacity가 커지고, 그러면 복잡한 현상을 예측할 수 있다.

그렇지만 막 capacity를 늘리면 overfitting 문제(일반적인 경우에서는 적용되지 않는)가 발생한다.

 

- True Risk vs Empirical Risk : overfitting이 되면 empirical risk는 줄어들고, true risk는 늘어난다.

=> 즉, training loss(empirical risk)와 validation loss(approximated true risk)를 잘 비교해봐야 함.

 

(16:46)

<Regularizations L2 Regularization and Dropout>

- L2 Regularization

(예) Loss = MSE + R(람다)

강제로 overfitting을 방지.

 

- Dropout

각각의 노드들을 꺼버린다. -> 모델 capacity(파라미터의 개수)를 줄여준다.

그렇게 하면 각각의 뉴런을 보다 효율적으로 사용할 수 있게 된다.

 

어떤 식으로 꺼버리는가에 따라 모델이 달라지기 때문에 복잡한 하나의 모델 보다는 간단한 여러개의 모델을 종합하여 결과를 얻을 수 있다.(앙상블 기법의 일종)

 

이 때, training을 할 때만 dropout을 적용하고, test를 할 때에는 dropout 없이 진행한다.

 

(27:24)

<Problems of MLP Gradient Vanishing>

- Gradient Vanishing

: 한번 0에 가까운 값이 되어 버리면 gradient가 0 가까이에서 거의 바뀌지 않는다.

=> ReLU Activation function을 이용해 해결

 

(34:28)

<Xavier Initialization and Batch Normalization>

- Xavier Initialization

: weight 초기화 방법 중 하나.  

- Batch Normalization

 

[#14.Lec] Hyperparameter Tuning Guide - 딥러닝 홀로서기

 

- Hyperparameter Tuning의 목적은? 모델의 true risk를 줄이기 위해서(=validation set의 loss를 줄이는 것)

- 접근법은?

1) Model Related

: hidden layer, hidden unit의 개수, activation function

2) Optimization Related

: optimizer의 종류(SGD, Adam), Learning rate, L2 coef, Dropout Rate, Batch Size, Epoch

 

* 모델을 정하고 -> 학습 관련 요소들을 정하는 것을 추천

 

- Batch size를 일단 최대한 키우고(학습 시간이 빨라진다), 그 후에 batch_size를 줄여본다. 

 

- hyper parameter를 찾는 방법

1) grid search

2) Random

3) 직접 해보기

4) Bayesian Optimization

+) AutoML