[홀로서기 3] 딥러닝 홀로서기 강의 정리(9.Lab-10.Lec)

<수강한 강의>

[#9.Lab] MLP Regression with Pytorch / Assignment1 - 딥러닝 홀로서기

[#10.Lec] Assignment #1 Review - 딥러닝 홀로서기

 

수강 날짜 : 220809-

 

<내용 정리>

 

[#9.Lab] MLP Regression with Pytorch / Assignment1

 

쟈료 저장소 : https://github.com/heartcored98/Standalone-DeepLearning/blob/master/Lec2/Lab2_pytorch_regression_demo.ipynb

-> MLP 구현 쉬운 예시(nn.Module을 활용)

 

* MLP 모델에서 hidden layer의 unit 수를 늘릴 수록 좋은 것인가?

-> 해봐야 한다. 아무래도 모델의 capacity가 커져서 overfitting이 발생할 확률도 커진다.

 

* squeese, view는 차원을 바꾸어주는 역할.

 

[#10.Lec] Assignment #1 Review - 딥러닝 홀로서기

- MLP hideen layer 수 바꾸는 것을 함수화 : nn.ModuleList Arhparse 함수화

- 학습 시 오래 걸리는 문제 : GPU를 사용

- 같은 코드인데도 돌릴 때마다 결과가 다르다면? : seed를 사용

- train loss는 줄어드는데 validation loss가 안 줄어든다면? : overfitting이 되고 있는 것.

- 그리고 hyperparameter 튜닝.(학습 데이터를 train/validation/test로 나누는 것도 이와 관련이 있다.)

 

- nn.moduleList : nn.Module에 list 형식으로 넣고 싶을 때 이 형식으로 넣지 않으면 optimizer에 제대로 등록되지 않는다.

- optimizer가 작동하는 방식