[홀로서기 3] 딥러닝 홀로서기 강의 정리(9.Lab-10.Lec)
<수강한 강의>
[#9.Lab] MLP Regression with Pytorch / Assignment1 - 딥러닝 홀로서기
[#10.Lec] Assignment #1 Review - 딥러닝 홀로서기
수강 날짜 : 220809-
<내용 정리>
[#9.Lab] MLP Regression with Pytorch / Assignment1
-> MLP 구현 쉬운 예시(nn.Module을 활용)
* MLP 모델에서 hidden layer의 unit 수를 늘릴 수록 좋은 것인가?
-> 해봐야 한다. 아무래도 모델의 capacity가 커져서 overfitting이 발생할 확률도 커진다.
* squeese, view는 차원을 바꾸어주는 역할.
[#10.Lec] Assignment #1 Review - 딥러닝 홀로서기
- MLP hideen layer 수 바꾸는 것을 함수화 : nn.ModuleList Arhparse 함수화
- 학습 시 오래 걸리는 문제 : GPU를 사용
- 같은 코드인데도 돌릴 때마다 결과가 다르다면? : seed를 사용
- train loss는 줄어드는데 validation loss가 안 줄어든다면? : overfitting이 되고 있는 것.
- 그리고 hyperparameter 튜닝.(학습 데이터를 train/validation/test로 나누는 것도 이와 관련이 있다.)
- nn.moduleList : nn.Module에 list 형식으로 넣고 싶을 때 이 형식으로 넣지 않으면 optimizer에 제대로 등록되지 않는다.
- optimizer가 작동하는 방식