[홀로서기 6] 딥러닝 홀로서기 강의 정리(chap 20, 21, 22)

<수강한 강의>

[#20.Lec] Basic of Convolutional Neural Network - 딥러닝 홀로서기

[#21.Lab] Implementing CNN with Pytorch - 딥러닝 홀로서기

[#22.Lec] Assignment #4 Review - 딥러닝 홀로서기

 

수강 날짜 : 220829-220831

 

<내용 정리>

 

[#20.Lec] Basic of Convolutional Neural Network - 딥러닝 홀로서기

[Review]

- gradient가 낮아지는 방향으로 step을 밟아가면 전체 loss를 줄이는 방향으로 갈 수 있다.

- Batch GD와 stochastic GD의 차이점은? Batch GD는 트레이닝 셋을 모두 사용하여 gradient를 계산한다. 그래서 한 번에 계산하기 위해 그만큼의 ram이 필요하고, 한번의 step을 밟기 위해 시간이 오래 걸린다. stochastic GD는 전체 트레이닝셋을 작은 청크로 나눠서(미니 배치) 랜덤하게 gradient를 계산하고 step을 밟는다. Batch GD에 비해 적은 ram을 필요로 한다. 더 빠르게 step을 밟을 수 있고, local minimum도 어느정도 피할 수 있다.

-> stochastic은 확률적인 결과값이 나오는 것. 

 

- Learning rate가 너무 크거나 작으면 어떤 문제가 발생하나요? LR이 너무 작으면 너무 오래걸린다. LR이 너무 크면 원하는 위치에 제대로 접근하지 못할 수 있다. -> Grid/Random search를 통해 최적의 값을 찾아보는 걸 추천! Learning rate scheduler라는 것도 있다.(처음에는 LR을 크게, 나중에는 LR를 작게작게)

- Loss 값이 특정 epoch에서만 갑자기 튀는 경우는 왜 발생할까? LR이 커서 발생(step이 크다). -> 해결? LR을 줄이거나, gradient clipping이라는 방법을 사용한다.(gradient의 범위를 특정한다.)

 

[Problems of MLP]

파라미터가 너무 많다. -> 파라미터가 의미 없을 수도 있다(특히 이미지 데이터에서)

 

[Convolutional Neural Network(CNN)]

- 고양이가 image를 인식하는 것에서 착안 -> 간단한 정보들을 각각 담당하는 뉴런들이 있는 것이 아닐까,라고 생각함.

 

(20분)

- MLP : Fully Connected Layer

32x32x3 image -> stretch to 3072x1 

- Convolution Layer

: 필터의 갯수에 따라 다음 레이어의 depth가 결정된다.

-> CNN에서 색상 데이터는 어떻게 보존할 수 있나요? RGB 각 색깔을 탐지하는 필터를 통해 가능하다.

 

- pooling layer : max pooling을 사용.

 

[#21.Lab] Implementing CNN with Pytorch - 딥러닝 홀로서기

 

- CNN 코드 짜보는 실습(추후 필요할 때 다시 듣기)

 

[#22.Lec] Assignment #4 Review - 딥러닝 홀로서기

 

- 과제 리뷰 영상