TIL 2022-01-21(금) cnn, rnn

#부스트캠프3기 

#TIL

Today I Learned 
Date : 2022-01-21(금)

□ Facts

이 커널을 한 번씩 옮기면서 계산해보자

 

여러분이 관찰 할 것은 입력만 변하고 커널은 그대로인 것 

그러면 25가 나옴 

 

입력크기를 (H, W) 

커널 크기를 (Kh Kw)라 했을 때 

출력 크기는 (Oh Ow) 라 ㅎ하면 다음과 같이 계산 

Oh = H - Kh + 1

Ow = W - Kw + 1

가령 28 & 28 입력은 3x3 커널로 연산하면 26x26이 나온다. 

 

 

□ Findings 

연쇄법칙 풀기

z = (x + y) ^2 

이 z를 둘로 쪼갤 수 있다. z = W^2 

두 미분의 곱으로 z에 대한 x의 미분으로 계산하게 됨 

 

 

각 뉴런에 해당하는 값을 텐서(tensor)라고 부른다. 

각 텐서는 메모리에 저장이 되어야 한다. 

따라서 backpropagation은 forward propagation보다 메모리를 더 많이 사용

 

□ Feelings 

드디어 이번주는 끝!! 

그냥 끝났다는 마음이 가장 큼 

금요일은 이벤트도 그렇고 낼 것도 많아서 정말 바빴다. 

 

□ Future

다음주는 pytorch 배움